Turing machine
PulseAugur coverage of Turing machine — every cluster mentioning Turing machine across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
应用于图灵机的神经网络可解释性技术
研究人员已经证明，通常用于神经网络的可解释性技术“易感性”（susceptibilities）也可以应用于图灵机。该方法通过分析噪声图灵机的学习问题的局部损失景观来识别算法结构。研究表明，图灵机算法中的对称性和路径分离对应于其易感性矩阵中的排列对称性和低秩块，这些可以通过主成分分析和聚类等技术进一步分析。
-
新模型探索化学反应的可逆计算
研究人员推出 RevCRN，一个使用化学反应网络实现可逆模拟计算的新颖模型。这项工作建立了各种可计算实数类别之间的关系，包括有理数、Lyapunov CRN 可计算实数和实时 CRN 可计算实数。主要发现表明，有理数是 RevCRN 可计算实数的严格子集，并且实时 CRN 可计算实数与 RevCRN 之间存在非空交集。该论文还探讨了 RevCRN 可计算实数内部的层次结构，将 RevCRN 和 RTCRN 之间的精确关系留作一个开放性问题。
-
研究发现低精度Transformer可模拟图灵机
研究人员分析了标准Transformer解码器的表达能力，重点关注低精度和softmax注意力等实际方面。他们的工作通过证明这些实际配置仍能模拟图灵机，从而弥合了理论模型与现实世界Transformer之间的差距。研究还表明，总结的思维链范式对于这种模拟更有效，其扩展与模型大小相关，属于空间界限而非时间界限。
-
新框架分析具有可计算规则的序列决策
本文介绍了一个用于分析序列决策的新框架，重点关注内生停止行为。它使用图灵机定义了可计算规则，并建立了它们与有限自动机的等价性。该研究将抽象选择理论扩展到无限序列的备选项，提供了可检验的含义和一个揭示偏好的工具包，用于表征特定的选择程序，如基于阈值和满意度的方法。
-
新的计算链架构提升了大型语言模型的规划能力
研究人员开发了一种名为计算链（Chain of Computation, COC）的新计算架构，以提高大型语言模型（LLMs）的规划能力。该架构将基于Transformer的模型集成到一个迭代循环中，并利用一个保持恒定大小但允许选择性信息访问的结构化上下文窗口（Structured Context Window, SCW）。实验表明，即使是使用COC训练的较小模型，在诸如BlocksWorld和Pancake Puzzle等规划问题上…
-
新理论提出“弹射式LLM”以实现类人AI泛化
一项推测性提案表明，经过高学习率和正则化训练的过度参数化神经网络可以实现类人泛化能力。这种“弹射式LLM”方法旨在解决当前AI的局限性，即模型以“愚蠢的方式”变得智能，而生物大脑则相反。该理论认为，这种方法将导致样本效率和计算效率更高的学习，从而使模型泛化能力更强，更能抵抗对抗性攻击，并为AI安全奠定更坚实的基础。
-
LLM 是 ALU，不是计算机，缺乏持久状态
作者认为，大型语言模型（LLM）在根本上受到限制，因为它们缺乏传统计算机的持久状态和顺序处理能力。与具有程序计数器和寄存器的中央处理单元（CPU）不同，LLM 在单次调用中处理输入，并在调用返回后丢失其先前操作的所有记忆。这种固有的状态缺失意味着 LLM 更像是算术逻辑单元（ALU），而不是完整的计算机器，仅仅增加参数或上下文窗口大小并不能赋予它们运行程序的能力，而运行程序需要一系列依赖的步骤。
-
研究发现：思维链 Transformer 可高效模拟 Word RAM 算法
一项新的研究论文探讨了思维链 (CoT) Transformer 的理论能力，证明了它们在模拟 Word RAM 算法方面的效率。研究表明，这些 Transformer 仅需多对数开销即可执行排序和 Dijkstra 等算法，与之前模拟图灵机的效率相比有了显著提升。该研究展示了具有特定注意力机制的有限精度 Transformer 的发现，以及连续 CoT 和混合架构的发现。
-
数学限制意味着AI越狱永远无法被完全阻止
停机问题和哥德尔不完备定理表明，从数学上讲，不可能创建能够明确阻止所有越狱、崩溃或错误的计算机程序或AI。这些计算的基本限制意味着任何基于图灵机的系统都无法完全摆脱此类问题。
-
神经网络权重范数与柯尔莫哥洛夫复杂度相关联
研究人员已经证明了神经网络的权重范数与其生成的输出字符串的柯尔莫哥洛夫复杂度之间存在理论联系。该研究证明，在固定精度设置下，循环神经网络的最小权重范数对应于其输出的柯尔莫哥洛夫复杂度，相差一个对数因子。这一发现表明，权重衰减作为一种先验，与 Solomonoff 的通用先验（对于可计算函数是最优的）相一致。证明依赖于将图灵机程序编码到神经网络权重中，并枚举网络参数，其中对数因子通过排列编码实现。
-
AI治理：图灵机能否解决代理式AI的挑战？
目前正在探讨代理式AI治理是否可以成为一个计算有界过程。研究人员正在考虑图灵机是否理论上可以解决AI系统中的上下文漂移和目标不一致等问题。讨论深入探讨了大部分治理挑战是否可以通过算法来管理，还是固有的复杂性需要替代方法。
-
AI 研究探讨 Transformer 的表达能力和课程学习的益处
两篇新研究论文探讨了 Transformer 模型及其推理能力的理论方面。其中一篇论文分析了标准 Transformer 解码器在 Softmax 注意力下的表达能力，证明了它们如何能够以对数缩放模拟图灵机。第二篇论文为 LLM 后训练中的课程学习提供了一个理论框架，表明与非课程方法相比，它可以将推理任务的样本复杂度提高一个数量级。
-
新研究提出可判定性度量和计算的复杂度类
本文提出了一个理解计算不可判定性的新框架，将艾伦·图灵的工作与格奥尔格·康托尔的集合论联系起来。它引入了一种根据输入数据的概率分布来衡量问题不可判定性程度的方法。该研究还定义了三个新的不可判定问题复杂度类——U-complete、D-complete 和 H-complete——并否定地回答了一个关于不可判定问题复杂度的基本问题，类似于P vs. NP问题。