linux 通过docker 部署ai

docker 命令

服务器背景

由于我的服务器配置比较低(配置是4g运行内存/cpu 两颗) 所以采用的是 qwen:0.5b(百度的通义千问) 这个模型 大概使用cpu 是2g 作用 本地虚拟机是可以正常跑的
下载前 你可以查看deepseek 官网 来对应版本 一定要时刻关注cpu

可以通过
https://ollama.com/search
查看相应的版本 一般来说0.7b 是4g 内存运行的极限(未测试)
基本上 只要大于1b的就不能只需要cpu了 需要用到gpu的性能 (开始上显卡)
例如我的我的电脑 4060 +32G 是可以满血跑8b的ai模型

https://docker.aityp.com/r/docker.io/ollama  这个地址查看想要拉取的版本

## 下载命令 
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama:0.9.5

docker run -itd --restart=always \
 -p 11434:11434 \
 docker.io/ollama/ollama:0.9.5
 
 ## 进入容器内部
 docker exec -it  docker.io/ollama/ollama:0.9.5 bash 
 ollama pull qwen:0.5b
 ollama run qwen:0.5b 

这样就可以使用了