实体
Tc 0
Tc 0
PulseAugur coverage of Tc 0 — every cluster mentioning Tc 0 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
填充Transformer的表达能力与精度和深度相关
一篇新的研究论文探讨了填充Transformer（一种神经网络架构）的表达能力。研究发现，数值精度和模型深度是影响其计算能力的主要因素。研究结果表明，具有恒定精度的填充Transformer等同于AC^0电路，而具有可变精度的填充Transformer则可以达到TC^0，而与模型宽度无关。
-
新理论使用最优输运分析LLM推理极限
研究人员开发了一个理论框架，使用最优输运来分析大型语言模型（LLM）的推理和分布外泛化能力。他们的方法用Wasserstein-1距离量化域偏移，并确定了两个关键限制：依赖位置的注意力机制阻碍了移位不变性，而Transformer中的顺序回溯对电路深度施加了下限。在组合搜索任务上的评估证实，泛化风险随域偏移的增加而增加，凸显了物理层深度缩放的必要性。