报错解决:“TypeError: ChatGLMTokenizer._pad() got an unexpected keyword argument ‘padding_side‘ ”
transformers 4.45.0版本引入新的padding参数规范,而ChatGLMTokenizer的_pad()方法并未适配新参数,导致调用tokenizer进行文本处理时,参数传递不匹配。
·
问题根源:transformers 4.45.0版本引入新的padding参数规范,而ChatGLMTokenizer的_pad()方法并未适配新参数,导致调用tokenizer进行文本处理时,参数传递不匹配。
两种解决方案(选一种即可):
1.降低transformers库版本
pip uninstall transformers -y
pip install transformers==4.40.2
2.修改tokenization_chatglm.py文件
源代码:
def _pad(
self,
encoded_inputs: Union[Dict[str, EncodedInput], BatchEncoding],
max_length: Optional[int] = None,
padding_strategy: PaddingStrategy = PaddingStrategy.DO_NOT_PAD,
pad_to_multiple_of: Optional[int] = None,
return_attention_mask: Optional[bool] = None,
) -> dict:
修改后:
def _pad(
self,
encoded_inputs: Union[Dict[str, EncodedInput], BatchEncoding],
max_length: Optional[int] = None,
padding_strategy: PaddingStrategy = PaddingStrategy.DO_NOT_PAD,
pad_to_multiple_of: Optional[int] = None,
return_attention_mask: Optional[bool] = None,
padding_side: Optional[str] = None,
) -> dict:
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)