实体 Merope

Merope

PulseAugur coverage of Merope — every cluster mentioning Merope across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_228854 · Sep 1 · 04:00

新的RoPE变体提升了Transformer在长上下文和视频生成任务中的性能

两篇新的研究论文介绍了Transformer模型旋转位置嵌入（RoPE）的变体。第一种，HD-RoPE，将RoPE扩展到更高维度，以改善长上下文建模中的通道耦合和鲁棒性。第二种，MeRoPE，专为相机控制的视频生成而设计，通过保持特征范数和限制注意力logit来解决度量相机轨迹中与尺度相关的失败问题。