C*-RASP
PulseAugur coverage of C*-RASP — every cluster mentioning C*-RASP across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究探索Transformer压缩以提高效率和长度泛化能力 · 已追踪2个来源
两篇新的arXiv论文探讨了压缩Transformer模型以提高效率和长度泛化能力的方法。第一篇论文《Dense Structural Compression of Transformers via Gauge-Correct Channel Removal》介绍了GaugeLasso技术，该技术通过惩罚张量切片来实现物理移除，同时保持网络功能和密度。这种方法可以在不牺牲某些任务准确性的情况下显著降低计算需求。第二篇论文《Length…
-
新理论精确刻画了 Transformer 在正则语言上的长度泛化能力
研究人员开发了一种新的代数分解理论，用于精确刻画 Transformer 类语言模型在训练长度之外的更长序列上的泛化能力。该理论解决了经典 Krohn-Rhodes 分解理论的局限性，该理论因基本构建块的差异而不足以理解 Transformer 的长度泛化。新方法将分解理论推广到无限群，从而实现了一个用于正则语言成员资格的多项式时间决策算法。实验证实了该理论在预测 Transformer 行为方面的准确性。
-
新研究探讨 Transformer 的表现力和样本复杂度
研究人员发表了对 Transformer 的理论分析，重点关注其表现力和样本复杂度。该工作提出了使用 Transformer 学习 C-RASP 构建的初步界限，旨在加深对大型语言模型能力和局限性的理解。这项研究为基于注意力模型的理论基础做出了贡献。
-
新框架C*-RASP分析Transformer的规划能力
研究人员开发了C*-RASP，这是C-RASP框架的一个扩展，用于分析仅解码器Transformer模型在AI规划任务中的能力。这个新框架旨在为Transformer处理日益增长的序列长度和词汇量（规划问题中的常见挑战）提供理论保证。该研究确定了Transformer可以被证明学会验证长计划的特定经典规划领域，突出了影响可学习的长度泛化解决方案的结构属性，并通过实证实验支持了这些理论发现。