使用verl对Qwen2.5训练过程中需要注意的问题
·
使用verl对Qwen2.5训练过程中需要注意的问题
在训练的过程中需要注意
model context length should be greater than total sequence length
就是说模型的编码长度>=模型的prompt的长度+模型的response长度
中国智能体开发者社区，聚焦智能体与大模型开发，提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动，促进经验交流与协作，助力开发者快速构建创新智能应用。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)