问题描述:

  1. 魔搭社区的很多模型直接转载于huggingFace,所以运行中要访问huggingFace,如果没有科学的上网姿势就会导致代码无法运行。

常常出现网络连接报错:
HTTPSConnectionPool(host=‘huggingface.co‘, port=443)

直接修改模型名称为路径,又会出现如下模型名称报错:
HFValidationError: Repo id must be in the form ‘repo_name‘ or ‘namespace/repo_name
恼人至极。

解决方法:

其实方法很简单,只是网上说的较少。以最近很火的deepseek为例,参考教程从魔搭社区下载全部文件
https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B

readme给的运行指令如下:

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
#直接运行就会导致网络连接报错

其中 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B表示模型的名称,模型会下载到如下路径

/root/.cache/modelscope/hub/

通常的改法是将模型名称改成绝对路径,

vllm serve /root/.cache/modelscope/hub/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
#如此运行就会导致模型名称报错

【正确写法】

实际上只用添加模型路径即可:

vllm serve /root/.cache/modelscope/hub/deepseek-ai --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager

好用记得回来点赞评论~

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐