Shannon
PulseAugur coverage of Shannon — every cluster mentioning Shannon across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新理论区分信息保持与预测贡献
一篇新论文介绍了互补特征域（CFD）理论，该理论将预测价值表征为一种与上下文相关的贡献系统。研究表明，保持香农信息不一定能保持这种贡献系统，因为可逆的表征变换会改变预测贡献。该论文用CFD贡献缺陷的形式化了这种变化，并表明对于有界Lipschitz效用，联盟效用变化受到行为距离的约束。一项使用心电图数据的实验说明了非线性重编码如何在保持信息的同时改变准确性，而精确的逆变换可以恢复准确性。
-
新框架将语言冗余与语义文本结构联系起来
研究人员引入了一个新的框架来理解语言的统计组织，将其冗余与分层语义结构联系起来。通过使用大型语言模型将文本递归地分割成语义连贯的块，他们创建了“语义树”。研究发现，这些语义树的熵率与大型语言模型测量的量非常相似，并随文本复杂度的变化而变化，简单文本的熵较低，而诗歌等复杂文本的熵较高。这表明文本的分层语义组织在其整体信息传输速率中起着重要作用。
-
新的IDE工具FairLint-DL可实现预训练偏见检测
研究人员开发了FairLint-DL，一个集成到Visual Studio Code中的新工具，允许开发人员在训练深度学习模型之前测试其偏见。该工具使用基于Shannon工作的信息论度量来量化受保护属性对预测的影响。在Adult Census Income等数据集上的评估显示出显著的公平性问题，FairLint-DL能够快速识别这些问题，证明了其在开发工作流程中简化公平性分析的潜力。
-
新理论统一人工智能的通信、控制和决策
一篇新论文提出了一个实用信息理论的数学框架，旨在统一通信、控制和决策。该理论引入了 isoteleia 的概念，该概念将不同语义路径在导致相同最优行动时可以被视为实用等价的思想形式化。该框架将熵和信道容量等经典信息论概念扩展到面向任务的语境中，为智能系统基于其目标和资源约束可以提取的效用设定了基本限制。
-
撤回的论文探讨信息熵作为拟人化概念
这篇论文最初于2015年提交后被撤回，它探讨了信息熵作为一种拟人化思想的概念，并将其与E.T. Jaynes和Eugene Paul Wigner所描述的热力学熵进行了类比。作者Panteleimon Rodis旨在将香农的信息熵定义推广，以符合这种拟人化视角。该研究提出了将这种广义熵概念应用于比较密码复杂度和衡量遗传算法中的多样性。
-
研究人员使用卢卡西维茨逻辑识别深度 ReLU 网络
研究人员采用卢卡西维茨逻辑开发了一种全新的方法来完全识别深度 ReLU 网络。该方法与香农使用布尔逻辑分析开关电路的方法类似，将网络等价性和简化转化为公式推导。该框架包括一个提取算法，将网络转换为替换图；一个用于功能等价公式的完备性定理；以及一个从图返回网络的构造算法。该方法为 MV 逻辑提供了一种新的范式，该范式保留了网络的代数结构。
-
源自广义统计熵的新注意力算子
研究人员引入了源自广义统计熵的新型注意力算子，超越了标准的Softmax和entmax函数。Kaniadakis熵算子在权重敏感性方面提供代数衰减，与Softmax的指数衰减和entmax的截断形成对比。此外，经典的Abe熵算子提供了一个倒数对称机制，当一个参数接近某个值时，特定项与Softmax对齐。这些发展基于概率单纯形上的Fisher度量原理，其中Shannon扇区恢复了缩放点积Softmax。
-
新研究量化多语言分词税，发现其在很大程度上可移除
一篇新研究论文提出了一种“代币成本账本”，用于量化大型语言模型处理非英语文本所产生的额外成本。该研究分析了 FLORES-200 数据集上的八种语言，发现与英语相比，印度语言脚本的分词税成本最高可增加 8.9 倍。研究表明，这种税收的很大一部分是由于表示效率低下，而非内在信息差异，通过改进代码可以消除高达 64% 的多余代币使用量。
-
Shannon 和 Turing 在 1943 年预测了人工智能
1943年，Claude Shannon 和 Alan Turing 独立提出了关于人工智能潜力的理论。他们的工作奠定了后来影响人工智能发展的基本概念。
-
强调了在LLM语境中“曲线过拟合”一词的误用
当应用于大型语言模型（LLM）时，如果模型逐字复现其训练数据中的片段，那么“曲线过拟合”这个术语就被误用了。这种特定的行为并非真正的过拟合，过拟合指的是模型在训练数据上表现良好，但在新的、未见过的数据样本上表现糟糕。该术语的误用旨在欺骗那些不熟悉统计算法和神经网络的人。
-
新的博弈论方法实现次对数交换遗憾值
研究人员开发了一种用于多方一般和博弈的新方法，该方法显著减少了交换遗憾值，提高了收敛到相关均衡的效率。这种新颖的方法结合了Blum--Mansour归约和乐观的正则化领导者跟随（optimistic follow-the-regularized-leader）方法，并利用了混合正则化器。该技术在这一环境中首次提供了次对数的个体交换遗憾值保证，对复杂博弈场景中的博弈分布具有影响。
-
新算法利用信息论发现公式化文本聚类
研究人员开发了一种新颖的信息论算法，用于识别文本数据中的公式化聚类。该方法利用加权自信息分布，将经典度量扩展到连续公式，以应用于神经嵌入。当应用于《希伯来圣经》时，该算法成功分离了风格层次，并提供了一个量化的文本分层框架，为文本的构成和演变提供了新的见解。
-
New MINT-V2X dataset integrates vehicle mobility and network data
研究人员推出 MINT-V2X，一个旨在通过整合移动性和无线网络参数来弥合车联网（V2X）通信研究差距的新数据集。该综合数据集是通过结合 SUMO 的交通模拟和 OMNeT++/Simu5G 的网络模拟生成的，符合 3GPP Release 14 和 ETSI 标准。MINT-V2X 包含来自 1,386 辆汽车的超过 987 万个同步数据点，提供了真实的城市交通场景。通过路侧单元负载预测的案例研究证明了该数据集的实用性，显示出在纳入…
-
LLM aids discovery of new lower bounds for Shannon capacity of odd cycles
研究人员开发了新的方法来为奇数圈的香农容量建立改进的下界，特别是 C7、C11 和 C13。这些进展是通过在这些图的强幂中构建特定的独立集来实现的。值得注意的是，发现过程涉及与大型语言模型 (LLM) 的迭代交互，这凸显了 LLM 在生成复杂组合结构方面的日益增长的实用性。
-
神经符号AGI研究探索逻辑、概率以实现高级机器人 · 追踪2个来源
两篇新研究论文探讨了人工智能通用智能（AGI）机器人中神经符号方法的集成。第一篇论文介绍了一个使用Belnap双格和封闭知识假设的框架，用于处理未知事实和悖论，旨在通过逻辑推理实现可控安全。第二篇论文在此基础上，结合了基于Shannon最大信息熵和Nilsson概率结构的概率计算，并利用神经网络实现AGI系统中的实时决策。
-
新数学理论量化目标导向型代理的价值
研究人员开发了一个新的数学框架来量化价值，将其定义为目标导向型代理相对于其目标将资源转化为进展的比率。该理论借鉴了信息论的原理，提出了价值的对数度量，并建立了一个将价值创造与互信息联系起来的编码定理。该框架在语言模型上进行了实证测试，结果表明感知互信息与能力相关，而非参数数量，并且实现的价值与理论预测一致。
-
新的几何框架衡量文本中的语义信息
研究人员开发了一个新的几何框架来衡量文本中包含的语义信息。该框架在最近的一篇论文中进行了详细介绍，提供了一个三坐标语义画像，捕捉了思想的新颖性、广度和整合性。研究还证明，没有单一的标量摘要能够同时满足分析稳定性、序数稳健性和交叉表示可比性，从而导致标量摘要的权衡三角。
-
Fine-tuned LLMs automate proving of entropy inequalities
研究人员开发了一种方法，利用微调的语言模型和引导式树搜索来自动证明香农型熵不等式。他们的小型模型，参数范围从 0.6B 到 1.7B，在涉及 10 到 15 个变量的 60 个不等式的测试集上取得了 85% 的成功率。这种方法显著优于使用 GPT-5.5 和 Psitip 等大型模型的零样本提示。一项消融研究表明，4096 个 token 的训练上下文长度和非偏斜的数据分布对性能最优化。
-
新理论将谱估计与群论统一，应用于人工智能领域
研究人员引入了一个名为代数多样性（Algebraic Diversity）的新框架，该框架利用群论谱估计来分析单次观测数据。该方法推广了时间平均，并证明处理增益是群阶的属性，而非传感器数量的属性。该框架统一了DFT、DCT和KLT等各种信号处理技术，并在大规模MIMO、图信号处理和Transformer LLM分析等领域具有潜在应用。
-
LLM实现通过熵编码的实时文本传输
研究人员探索了使用基于LLM的熵编码进行实时文本传输的学习、预测和压缩之间的联系。他们分析了在固定速率信道上，当因果语言模型预测符号进行编码时，压缩效率与传输延迟之间的权衡。该研究比较了包括霍夫曼编码、算术编码和rANS在内的各种编码方案，发现霍夫曼编码由于其零算法延迟，适用于过度配置的信道，而算术编码则以延迟为代价提供更好的压缩效果。这些发现通过从GPT-2 (124M)到Llama 3.2 (3B)的模型进行了验证，表明更大的模型…