1. 下载 Ollama
    ollama下载地址
    由于网络问题 下载慢的,可以手动下载:
    ollama-linux-amd64.tgz
    在这里插入图片描述
  2. 部署
# 解压
tar -xvzf ollama-linux-amd64.tgz
sudo mv ollama /usr/local/bin/
sudo chmod +x /usr/local/bin/ollama
ollama serve
# 下载大模型
ollama run llama2
  1. 注意点
    模型对内存要求较高:不低于7.5 GiB

参考文章:
本地部署Llama3-8B/70B 并进行逻辑推理测试

Linux安装ollama方法(自动或手动安装)
Open WebUI

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐