mentor让我在公司服务器上通过ollama部署模型,摸鱼了两天总算是总结出了以下的解决方案。。。最大的问题居然不是模型部署而是下载ollama。。。

一、通过官网指令直装

直接在ollama官网通过官方提供的命令在终端直装。

ollama官网:Ollama

curl -fsSL https://ollama.com/install.sh | sh

 但是由于Linux服务器的防火墙限制比较厉害,下载网速很慢很慢,并且还会经常断开。

于是尝试了第二种方法,从官网上下载压缩包再手动解压安装。

二、通过官方压缩包手动安装

从官网下载对应系统架构的压缩包,下载到本地后再进行解压安装。

1、下载tgz安装包

下载ollama压缩包到本地。

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

 2、解压文件

手动对文件进行解压。

tar -xzf ollama-linux-amd64.tgz 

3、移动可执行文件到系统路径

解压完成后移动可执行文件到系统路径。

 sudo mv ollama /usr/local/bin/

4、验证

试着查看ollama版本,如果输出对应版本号则说明安装成功。

ollama --version

三、通过Docker安装

计划如下:开启docker服务直接从官网拉取镜像,然后通过镜像创造容器开启ollama服务。

docker pull ollama/ollama

但是还是出现网络的问题,不管切换了多少国内镜像,但是还是不行(可能我太落伍了,知道的镜像都是已经用不了的),于是最终放弃,采取先在本机下载压缩包再通过公司内网上传到服务器的方法。

四、本地上传服务器

1、下载对应版本压缩包

因为公司电脑和服务器可以连接到同一内网,所以在自己的电脑这边下载了再上传上去。

下载链接在这:Releases · ollama/ollama

进去以后往下滑就看到了,我这里下的是ollama-linux-amd64.tgz这一个压缩包。

2、上传压缩包到服务器

注意看到你的压缩包保存的路径,我的就直接在Download文件夹下了。

然后在终端通过SCP命令来上传到服务器。

命令如下:

scp /path/to/downloaded/ollama-linux-amd64.tgz username@server_ip:/home/username/

  • /path/to/downloaded/:这是你的本地下载路径

  • username:这是服务器用户名

  • server_ip:服务器 IP 地址(别忘了端口号)

  • /home/username/:服务器目标路径(看你想保存到什么位置)

如果没问题的话,下一步就会让你输入服务器的密码。输完等几分钟就传完了,速度非常快。

3、解压安装

我是默认上传到桌面了,所以直接解压。如果是上传到指定的目录下,解压的时候还要看好自己的路径写对了没有,或者是cd进到目录下再解压也可以。

tar -xzf ollama-linux-amd64.tgz

 然后还是移动可执行文件到系统路径:

sudo mv ollama /usr/local/bin/

评论区有遇到如此情况的可以按如下步骤,感谢评论区的补充:

原评论如下:

感谢分享。不过报错[sudo] password for xhl123:
mv: cannot stat 'ollama': No such file or directory
的可以把mv那条换成sudo mv bin/ollama /usr/local/bin/

sudo mv bin/ollama /usr/local/bin/

 最后检查一下能不能正确输出版本:

ollama --version

 最后也是成功部署了模型并且开启了服务。

五、总结

总结如下,要是网络环境好的话,直接通过官方的直装命令很快就下载下来了,因为文件真的不算大,就一个G多一些。如果网络不好的话可以试试换源,或者是和我最后的方法一样先下载到自己的电脑然后在上传到服务器上。

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐