本地Qwe-13B模型部署(基于VLLM)

使用vLLM部署大模型-CSDN博客

启动本地模型的OpenAI兼容API服务

qwen vllm function_call_vllm function call-CSDN博客

fastGPT加载本地模型

https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html
1. 配置模型:ollma模型

2. 配置本地部署模型信息

3. 创建对应简易应用测试

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐