Random Fourier Rotations

ClockRoPE 增强 LLM 的时间序列建模能力 · arXiv 研究

研究人员开发了 ClockRoPE，一种用于时间序列建模的新颖方法，可增强基于 Transformer 的大型语言模型的性能，尤其是在顺序推荐任务中。这种新方法利用了源自注意力调制函数傅里叶变换的随机傅里叶旋转，以更好地捕捉时间周期性等复杂的距离相关模式。ClockRoPE 在在线 A/B 测试的参与度指标中显示出持续的改进，并且已经在大型视频分享平台的生成检索系统中投入生产使用。