FastGPT(V4.9.7)接入本地Qwe-13B模型
1. 配置模型:ollma模型。2. 配置本地部署模型信息。3. 创建对应简易应用测试。
·
本地Qwe-13B模型部署(基于VLLM)
启动本地模型的OpenAI兼容API服务
qwen vllm function_call_vllm function call-CSDN博客
fastGPT加载本地模型
https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html
1. 配置模型:ollma模型


2. 配置本地部署模型信息
3. 创建对应简易应用测试
更多推荐
所有评论(0)