Layer-Specific Positional Embedding Scaling

新方法增强 Transformer 可扩展性并减轻 AI 模型中的位置偏差 · 跟踪 4 个来源

研究人员开发了两种新方法来提高 Transformer 模型的性能和可扩展性。一种方法 DPPE（解耦姿态位置编码）通过分离位置编码中的旋转和翻译信息来解决 3D 计算机视觉中的问题，从而在新的视图合成任务中实现更稳定的长期训练和更好的泛化能力。另一种方法 LPES（层特定的位置嵌入缩放）通过为每个层的 positional embeddings 应用独特的缩放因子来解决大型语言模型中的“中间丢失”问题，从而平衡注意力分布并在不增加延…