Windows 环境安装ollama，通过ollama拉起大模型

背景：

公司来了一台工作站，显卡是AMD的，目前跑大模型的更多的用的都是NVIDIA显卡，而且网络上开源的很多框架、工具、模型都对NVIDIA的cuda更加适配，用户强制要求使用AMD卡拉起大模型，在很多开源社区以及AMD官网找了很多资料，逐一踩坑尝试将整体流程整理了一下，仅作为个人笔记记录。

接着上篇文章【Windows 环境安装AMD显卡加速器ROCm】继续，在Windows本地安装ollama，使用ollama下来开源的大模型并在本地运行。

开始：

1.访问ollama官方地址：https://ollama.com/

在这里插入图片描述

2.下载

在这里插入图片描述

3.安装ollama

在这里插入图片描述

4.安装完成

在这里插入图片描述

5.ollama 官网找到对应版本的大模型

在这里插入图片描述

在这里插入图片描述

cmd中运行

ollama run qwen2.5:14b

在这里插入图片描述

模型默认下载地址：C:\Users\hpi\.ollama

6.下载完成后 会自动拉起大模型，进行对话并观察任务管理器的CPU、GPU性能

# 语言模型 # 开源 # RAG
Logo
智能体开发者社区

中国智能体开发者社区，聚焦智能体与大模型开发，提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动，促进经验交流与协作，助力开发者快速构建创新智能应用。

更多推荐

cover

[特殊字符]DeepSeek‑Harness（DSH）小白保姆教程

avatar 智能体开发者社区
cover

王仕宇是如何做 AI Agent 的：从模型调用，到真正能干活的智能体

avatar 智能体开发者社区

Deepseek Agent Harness教程(一) | 什么是agent

这篇文章揭示了AI Agent与大语言模型（LLM）的本质区别，并详细解释了Agent的工作原理。核心观点包括： 大语言模型本质是无状态的文本处理函数，所有"记忆"都是通过客户端重传历史对话实现的，这导致对话成本呈平方级增长。 AI Agent是"大脑+手脚+循环"的系统，由三部分组成： 大模型作为决策核心 工具调用作为执行手段 循环机制实现持续交互 Agent的实际工作流程： ① 客户端维护对话

avatar 智能体开发者社区