Kolmogorov complexity
PulseAugur coverage of Kolmogorov complexity — every cluster mentioning Kolmogorov complexity across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究探讨不可终止计算及其复杂性
本文深入探讨了不可终止重采样计算的计算复杂性，研究了导致算法无限运行的随机磁带的生存尾部和Kolmogorov复杂性。它引入了Hausdorff维度来量化这类磁带的集合。该研究提出了一个主定理，在特定条件下界定了生存前缀的概率之和，从而深入了解了终止行为和维度界限。研究强调了不同的修复规则，即使具有相同的停止时间定律，也可以表现出截然不同的非终止维度，这受到低功率级别下不可见的动作标签的影响。
-
新的ladderpath指数通过模式重用衡量语言复杂度
研究人员开发了一种名为ladderpath指数的新指标来衡量语言复杂度。该指数量化了通过重用重复子结构来重建序列所需的步骤，借鉴了算法信息论。当应用于21个平行语料库时，ladderpath指数在不同语言之间表现出惊人的一致性，表明存在一个普遍的复杂度水平。研究结果还表明不同语言层面（如字符集和词汇量）之间存在权衡，支持总复杂度守恒的观点。
-
研究人员利用复杂性数学探索程序互操作性
研究人员正在探索最小程序的互操作性，借鉴了柯尔莫哥洛夫复杂度（Kolmogorov complexity）和所罗门诺夫归纳法（Solomonoff induction）等概念。该工作提出了一种通过组合两个现有的近似最佳压缩来为数据构建新的、近似最短程序的方法。新程序将生成一个中间字符串，然后是最终数据，如果中间数据是独立的，则可能重用原始程序中的组件。
-
AI研究人员提出“趣味性”启发式方法来预测压缩进展
研究人员将“趣味性”正式化为一种启发式方法，用于预测未来AI压缩的进展。他们的工作基于柯尔莫哥洛夫复杂性（Kolmogorov Complexity）和算法统计学（Algorithmic Statistics），表明突破的近期性直接关系到预期的未来进展。研究还发现，算法先验（Algorithmic Prior）比长度先验（Length Prior）更乐观，可能导致预期发现的二次方增长。
-
新研究量化了跨信息论层级的因果描述鸿沟
研究人员量化了不同因果推理级别之间的信息论鸿沟，特别是观察性、干预性和反事实查询。他们的工作引入了一种使用柯尔莫哥洛夫复杂性进行形式化的方法，以衡量在已知较低层级答案的情况下，指定珍珠因果层级更高层级答案所需的比特数。该研究在某些无环结构因果模型中证明了观察性查询和干预性查询之间的二次分离，而反事实查询则存在线性鸿沟。
-
AI 模型是压缩引擎，而非记忆设备
AI 模型作为复杂的压缩引擎运行，将大量的训练数据压缩成固定大小的参数向量。这个过程根植于算法信息论，迫使模型发现潜在的模式和结构，而不是简单地记忆数据。因此，虽然这些模型拥有广泛的知识，但它们缺乏对过去交互或用户提供细节的具体回忆，因为这些信息被视为噪声并被压缩掉了。AI 模型的有效性直接与其压缩能力挂钩，更大的模型通过捕捉更复杂的模式来实现更好的性能。