实体
Long-Context Training
Long-Context Training
PulseAugur coverage of Long-Context Training — every cluster mentioning Long-Context Training across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
MegaParts 使用令牌高效自回归建模将3D对象生成扩展到300个部件
研究人员开发了MegaParts，一个新颖的3D对象生成框架，显著扩展了部件感知建模。通过采用令牌高效的矢量量化部件令牌和具有长上下文训练的结构化自回归序列建模，MegaParts可以处理多达300个部件的对象。与现有的自回归和扩散模型相比，这种方法实现了更高的网格质量，为大规模3D生成任务提供了一个引人注目的替代方案。
-
研究发现：长上下文训练可能损害大型语言模型的知识
一篇新研究论文提出了“信息丰富悖论”，挑战了大型语言模型中更长上下文窗口总是能提高性能的假设。研究表明，训练过程中过多的相关信息会降低模型进行参数化编码知识的动力，导致过度依赖上下文。这种现象在语言建模、自然语言理解和闭卷问答任务中，超过某个中间最优值后，会降低性能。研究表明，使用信息丰富的上下文进行训练会将梯度压力从与参数化知识相关的馈送网络转移到注意力模块，从而在推理过程中增加上下文依赖性。