Turing machine
PulseAugur coverage of Turing machine — every cluster mentioning Turing machine across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新理论提出“弹射式LLM”以实现类人AI泛化
一项推测性提案表明，经过高学习率和正则化训练的过度参数化神经网络可以实现类人泛化能力。这种“弹射式LLM”方法旨在解决当前AI的局限性，即模型以“愚蠢的方式”变得智能，而生物大脑则相反。该理论认为，这种方法将导致样本效率和计算效率更高的学习，从而使模型泛化能力更强，更能抵抗对抗性攻击，并为AI安全奠定更坚实的基础。
-
LLM 是 ALU，不是计算机，缺乏持久状态
作者认为，大型语言模型（LLM）在根本上受到限制，因为它们缺乏传统计算机的持久状态和顺序处理能力。与具有程序计数器和寄存器的中央处理单元（CPU）不同，LLM 在单次调用中处理输入，并在调用返回后丢失其先前操作的所有记忆。这种固有的状态缺失意味着 LLM 更像是算术逻辑单元（ALU），而不是完整的计算机器，仅仅增加参数或上下文窗口大小并不能赋予它们运行程序的能力，而运行程序需要一系列依赖的步骤。
-
研究发现：思维链 Transformer 可高效模拟 Word RAM 算法
一项新的研究论文探讨了思维链 (CoT) Transformer 的理论能力，证明了它们在模拟 Word RAM 算法方面的效率。研究表明，这些 Transformer 仅需多对数开销即可执行排序和 Dijkstra 等算法，与之前模拟图灵机的效率相比有了显著提升。该研究展示了具有特定注意力机制的有限精度 Transformer 的发现，以及连续 CoT 和混合架构的发现。
-
数学限制意味着AI越狱永远无法被完全阻止
停机问题和哥德尔不完备定理表明，从数学上讲，不可能创建能够明确阻止所有越狱、崩溃或错误的计算机程序或AI。这些计算的基本限制意味着任何基于图灵机的系统都无法完全摆脱此类问题。
-
神经网络权重范数与柯尔莫哥洛夫复杂度相关联
研究人员已经证明了神经网络的权重范数与其生成的输出字符串的柯尔莫哥洛夫复杂度之间存在理论联系。该研究证明，在固定精度设置下，循环神经网络的最小权重范数对应于其输出的柯尔莫哥洛夫复杂度，相差一个对数因子。这一发现表明，权重衰减作为一种先验，与 Solomonoff 的通用先验（对于可计算函数是最优的）相一致。证明依赖于将图灵机程序编码到神经网络权重中，并枚举网络参数，其中对数因子通过排列编码实现。
-
AI治理：图灵机能否解决代理式AI的挑战？
目前正在探讨代理式AI治理是否可以成为一个计算有界过程。研究人员正在考虑图灵机是否理论上可以解决AI系统中的上下文漂移和目标不一致等问题。讨论深入探讨了大部分治理挑战是否可以通过算法来管理，还是固有的复杂性需要替代方法。
-
AI 研究探讨 Transformer 的表达能力和课程学习的益处
两篇新研究论文探讨了 Transformer 模型及其推理能力的理论方面。其中一篇论文分析了标准 Transformer 解码器在 Softmax 注意力下的表达能力，证明了它们如何能够以对数缩放模拟图灵机。第二篇论文为 LLM 后训练中的课程学习提供了一个理论框架，表明与非课程方法相比，它可以将推理任务的样本复杂度提高一个数量级。
-
新研究提出可判定性度量和计算的复杂度类
本文提出了一个理解计算不可判定性的新框架，将艾伦·图灵的工作与格奥尔格·康托尔的集合论联系起来。它引入了一种根据输入数据的概率分布来衡量问题不可判定性程度的方法。该研究还定义了三个新的不可判定问题复杂度类——U-complete、D-complete 和 H-complete——并否定地回答了一个关于不可判定问题复杂度的基本问题，类似于P vs. NP问题。