实体
Tc 0
Tc 0
PulseAugur coverage of Tc 0 — every cluster mentioning Tc 0 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新论文定义结构泛化，质疑Transformer能力
一篇新论文定义了结构泛化，这是一个之前通过基准测试衡量但缺乏正式定义的概念。研究认为，纯粹的Transformer模型由于其可学习类别仅限于TC^0，且结构泛化的计算复杂性为NC^1完全，因此无法实现结构泛化。论文提出，神经符号系统表现更好，因为它们融入了泛化的语义层面，而纯粹的Transformer模型在这方面存在困难，并且当前的基准测试无法区分学习到的泛化和提供的泛化。
-
填充Transformer的表达能力与精度和深度相关
一篇新的研究论文探讨了填充Transformer（一种神经网络架构）的表达能力。研究发现，数值精度和模型深度是影响其计算能力的主要因素。研究结果表明，具有恒定精度的填充Transformer等同于AC^0电路，而具有可变精度的填充Transformer则可以达到TC^0，而与模型宽度无关。
-
新理论使用最优输运分析LLM推理极限
研究人员开发了一个理论框架，使用最优输运来分析大型语言模型（LLM）的推理和分布外泛化能力。他们的方法用Wasserstein-1距离量化域偏移，并确定了两个关键限制：依赖位置的注意力机制阻碍了移位不变性，而Transformer中的顺序回溯对电路深度施加了下限。在组合搜索任务上的评估证实，泛化风险随域偏移的增加而增加，凸显了物理层深度缩放的必要性。