使用LLM模型的tokenizer报错AttributeError: ‘dict‘ object has no attribute ‘model_type‘
把transformers版本改一下。(报错时我使用的是transformers== 4.57.2)改成transformers==4.57.1即可。
·
代码
from transformers import AutoTokenizer
...
model_path = "/.../models/Qwen/Qwen2.5-0.5B-Instruct"
train_data_path = "/...dataset/datasettrain.json"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
报错:
AttributeError: 'dict' object has no attribute 'model_type'
解决方法:
把transformers版本改一下。(报错时我使用的是transformers== 4.57.2)
改成transformers==4.57.1即可
参考地址:
https://github.com/vllm-project/vllm/issues/29368
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)