实体 Triangular Box

Triangular Box

PulseAugur coverage of Triangular Box — every cluster mentioning Triangular Box across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_160652 · Jul 24 · 04:00

新的TRSP方法解决了大型语言模型中的表示坍塌问题

研究人员引入了一种名为拓扑正则化侧通路（TRSP）的新方法，以解决大型语言模型（LLMs）中的表示坍塌问题，该问题会随着上下文的增加而降低性能。TRSP使用一种无参数的三角盒机制来平衡注意力动态的光谱特性，从而提高混合效率和信息容量。实验证明了TRSP的有效性，在通用能力和长上下文基准测试中取得了显著的提升，尤其是在扩展训练长度的情况下，在NoLiMa上保持了83%的准确率，并且优于Differential Transformer和G…