去年买了台旧电脑,显卡是AMD 5700,有8G显存,内存32G,就想弄个简易大模型来玩玩。

AI大模型对Nvidia支持较好,对AMD支持较差,去年10月弄了几天,没有成功,这几天看到deepseek很火,尝试搜索AMD 5700 Deepseek,居然还有一个示例,见链接。AMD RX5700运行ollama:deepseek-r1教程 - 哔哩哔哩https://www.bilibili.com/opus/1029798557644750852?spm_id_from=333.1387.0.0https://www.bilibili.com/opus/1029798557644750852?spm_id_from=333.1387.0.0https://www.bilibili.com/opus/1029798557644750852?spm_id_from=333.1387.0.0教程示例使用Rocm 6.1.2, 我尝试多次,都只能运行在CPU上(估计是环境配置不对), 最后仿照上面事例,使用Rocm 6.2.4成功了,现将操作过程写下来,进行分享。

第一步 下载最新的显卡驱动程序(amd-software-adrenalin-edition-24.12.1-minimalsetup-241204_web.exe)并进行安装

处理器和显卡驱动程序及支持

第二步:下载HIP SDK(6.2.4版本 AMD-Software-PRO-Edition-24.Q4-Win10-Win11-For-HIP.exe)并安装

https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html

第三步 下载最新ollama-for-amd(V0.5.7)并安装Releases · ollama/ollama · GitHub

第四步 下载显卡对应的rocm版本(截至目前支持gfx906、gfx1100、gfx1010、gfx1011、gfx1012、gfx1031、gfx1032、gfx1034、gfx1035、gfx1036、gfx1103、gfx1150),例如RX 5700的代号是gfx1010,下载rocm.gfx1010-xnack-gfx1011-xnack-gfx1012-xnack-.for.hip.sdk.6.2.4.7z即可

Releases · likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU · GitHub

第五步:将下载的显卡对应的ROCM替换掉HIP SDK和ollama-for-amd安装目录下的ROCM,LIBRARY文件夹同步替换

hip sdk目录(仅供参考):C:\Program Files\AMD\ROCm\6.2\bin(\rocblas)

ollama目录(仅供参考):C:\Users\administrator\AppData\Local\Programs\Ollama\lib\ollama(\rocblas)

第六步:重启系统,并在命令行运行 ollama run deepseek-r1:1.5b 进行下载,测试是否成功。主要看性能中的显卡及显存,以及CPU占用率,如果CPU占用较高,显存占用较小,则没有成功。通过右下角托盘的Ollama图标,右键显示日志也可看到有用信息。如果ollama run deepseek-r1:1.5b正常后,可以下载ollama run deepseek-r1:8b进行更好质量的大模型运行。

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐