LlaMA-Factory导出的模型转换格式
仓库地址：https://github.com/ggerganov/llama.cpp

git clone仓库之后，下载相关依赖：

cd /opt/gl/llama.cpp-master/llama.cpp-master
pip install -r requirements.txt

转换大模型格式
转换为gguf格式

 python convert_hf_to_gguf.py /opt/gl/model/lin_model --outfile /opt/gl/model/lin_model.gguf --outtype q8_0

创建ModelFile文件

FROM D:\ollama\models\lin_model\lin_model.gguf

添加自定义模型

ollama create lin_model -f D:\ollama\models\lin_model\ModelFile

查看本地模型
在这里插入图片描述
运行本地大模型

ollama run lin_model:latest
Logo
智能体开发者社区

中国智能体开发者社区，聚焦智能体与大模型开发，提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动，促进经验交流与协作，助力开发者快速构建创新智能应用。

更多推荐

【从0搭建AI智能体·2】给你的 AI 智能体装上「永久记忆」：RAG 向量数据库实战（附完整 Python 代码）

在上一篇《AgentKey 智能体开发完全指南》里，我们聊了三种对话记忆管理法：滑动窗口、Token 截断、摘要压缩。它们看着够用，但一上生产就露馅——信息是「线性丢失」的滑动窗口：聊到第 100 轮，第 1 轮用户说的「我对花生过敏」早被挤出窗口了。之后 AI 推荐了花生酱饼干，出了事算谁的？摘要压缩：反复摘要像反复压缩 JPG，越压越糊，关键数字、专有名词一次次被「抹平」；二者本质都是**「按

avatar 智能体开发者社区
cover

2026年AI Agent岗位激增300%！高薪抢夺浪潮背后，它将如何重塑产业？

avatar 智能体开发者社区

TencentCloud/CubeSandbox 项目介绍和应用

这是最让人惊叹的性能指标。在 50 并发创建的压测下，平均启动 67ms，P95 仅 90ms，P99 为 137ms。当 AI Agent（比如 Claude Code、GPT Codex、Cursor 等）需要执行代码时，会面临一个根本性的安全困境：你不可能让 AI 直接在宿主机上跑代码——它可能生成破坏性命令、读取敏感文件、甚至发起网络攻击。：当 AI Agent 执行了一步错误操作时，你不

avatar 智能体开发者社区