Landauer's principle
PulseAugur coverage of Landauer's principle — every cluster mentioning Landauer's principle across labs, papers, and developer communities, ranked by signal.
-
新的CPR-IE指标基于压缩、预测和资源使用情况评估AI效率
研究人员引入了一个名为压缩-预测-资源智能效率（CPR-IE）的新指标，用于在部署约束下评估智能系统。该指标侧重于表示经济性、预测质量和资源负担，将原始资源消耗与属性聚合分开。论文详细阐述了帕累托一致性、单位不变性和权衡恒等式的数学证明，建立了排序稳定性区域和跨任务聚合能力。CPR-IE被呈现为一个构建的效率表示，而不是一个普遍规律或智能本身的定义，其测量选择受到最小描述长度和Landauer原理等概念的启发。
-
研究：AI推理的热力学成本与内存相关，而非计算
一篇新的研究论文探讨了与人工神经网络相关的热力学成本，区分了推理和学习过程。该研究认为，准静态推理没有热力学成本，因为其自由能独立于网络参数。然而，有限速度的推理会产生与输入信息分离相关的成本，大约是每层最宽维度 $k_B T$。相反，学习的不可约成本是每个参数 $k_B T$ 的几倍，这表明内存，而不是计算，决定了神经网络的热力学代价。
-
新论文区分了人工智能中的描述性不确定性与监管性不确定性
一篇新论文区分了描述性不确定性（仅描述输出分布）和监管性不确定性（主动影响系统策略并驱动适应）。研究表明，当前的 Transformer 架构在推理过程中仅限于描述性不确定性。这一限制通过 Landauer 原理得到解释，该原理表明不确定性要具有监管性，认知误差必须产生实际的能量成本，而在解耦系统中并非如此。对不同规模语言模型的实证测试表明，在不同任务中，token 级别的熵在统计上保持不变，这表明其与任务准确性解耦，并且存在一种尺度不变的限制。