傅里叶位置编码FoPE
本文介绍了一种傅里叶位置编码方法FoPE，基于对RoPE的频谱分析发现问题：线性层和激活函数分别造成频谱泄露和失真，时域截断导致频率扩散，这些频谱损伤影响了RoPE的周期性扩展能力。针对这些问题，论文作者提出用傅里叶级数进行多频率建模，并对训练不足的低频分量置零处理时域截断问题，最终形成了FoPE方法。（仅供学习参考，禁止商用盗用）
·
前两篇学习分享了RoPE及其多维推广，本篇主要介绍论文《Fourier Position Embedding: Enhancing Attention’s Periodic Extension for Length Generalization》中的傅里叶位置编码FoPE。（本文仅供学习参考，禁止商用盗用，转载请注明出处）
论文认为RoPE隐式地实现了非均匀离散傅里叶变换的逆变换，每一维m对应单一频率的频谱系数，作者认为线性层和激活函数分别导致频谱泄露和频谱失真，时域截断导致频率扩散，这些频谱损伤阻碍了RoPE的周期性扩展。针对线性层和激活函数，作者引入傅里叶级数进行多频率建模更好地适应；针对时域截断，作者对训练不足的低频分量进行置零，提出FoPE。
火山引擎开发者社区是火山引擎打造的AI技术生态平台，聚焦Agent与大模型开发，提供豆包系列模型（图像/视频/视觉）、智能分析与会话工具，并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长，新用户可领50万Tokens权益，助力构建智能应用。
更多推荐
12
0- 0
已为社区贡献3条内容
所有评论(0)