📌 GLM-5.2 的主分支注意力改用 DeepSeek 风格的 interleaved RoPE,indexer 仍然用非交错的 half-split RoPE(GLM-5 主分支注意力的实现)。
    
🎯 今天来解析 interleaved RoPE 相对 half-split RoPE 的区别。

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐