Shannon
PulseAugur coverage of Shannon — every cluster mentioning Shannon across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新数学理论量化目标导向型代理的价值
研究人员开发了一个新的数学框架来量化价值，将其定义为目标导向型代理相对于其目标将资源转化为进展的比率。该理论借鉴了信息论的原理，提出了价值的对数度量，并建立了一个将价值创造与互信息联系起来的编码定理。该框架在语言模型上进行了实证测试，结果表明感知互信息与能力相关，而非参数数量，并且实现的价值与理论预测一致。
-
新的几何框架衡量文本中的语义信息
研究人员开发了一个新的几何框架来衡量文本中包含的语义信息。该框架在最近的一篇论文中进行了详细介绍，提供了一个三坐标语义画像，捕捉了思想的新颖性、广度和整合性。研究还证明，没有单一的标量摘要能够同时满足分析稳定性、序数稳健性和交叉表示可比性，从而导致标量摘要的权衡三角。
-
Fine-tuned LLMs automate proving of entropy inequalities
研究人员开发了一种方法，利用微调的语言模型和引导式树搜索来自动证明香农型熵不等式。他们的小型模型，参数范围从 0.6B 到 1.7B，在涉及 10 到 15 个变量的 60 个不等式的测试集上取得了 85% 的成功率。这种方法显著优于使用 GPT-5.5 和 Psitip 等大型模型的零样本提示。一项消融研究表明，4096 个 token 的训练上下文长度和非偏斜的数据分布对性能最优化。
-
新理论将谱估计与群论统一，应用于人工智能领域
研究人员引入了一个名为代数多样性（Algebraic Diversity）的新框架，该框架利用群论谱估计来分析单次观测数据。该方法推广了时间平均，并证明处理增益是群阶的属性，而非传感器数量的属性。该框架统一了DFT、DCT和KLT等各种信号处理技术，并在大规模MIMO、图信号处理和Transformer LLM分析等领域具有潜在应用。
-
LLM实现通过熵编码的实时文本传输
研究人员探索了使用基于LLM的熵编码进行实时文本传输的学习、预测和压缩之间的联系。他们分析了在固定速率信道上，当因果语言模型预测符号进行编码时，压缩效率与传输延迟之间的权衡。该研究比较了包括霍夫曼编码、算术编码和rANS在内的各种编码方案，发现霍夫曼编码由于其零算法延迟，适用于过度配置的信道，而算术编码则以延迟为代价提供更好的压缩效果。这些发现通过从GPT-2 (124M)到Llama 3.2 (3B)的模型进行了验证，表明更大的模型…
-
研究人员提出语义变分贝叶斯，以简化隐变量求解
研究人员推出了一种新方法——语义变分贝叶斯（SVB），旨在简化求解隐变量分布的过程。SVB建立在作者先前在语义信息理论方面的工作基础上，将率失真函数扩展到率保真度函数R(G)。这种新方法利用最大信息效率准则（G/R），并结合了各种约束函数，旨在与传统的变分贝叶斯方法相比，实现计算上的简化。初步实验表明，SVB在数据压缩、最大熵控制和强化学习等应用中具有潜力，并计划进一步探索其在神经网络和深度学习中的应用。
-
新框架使用信息论衡量写作中的创造性质量
一篇新论文提出了“校准的惊喜”作为理解写作中创造性质量的理论框架。该概念认为，真正的创造力源于作者意图、读者期望和现实逻辑的融合，从而产生不可预测但连贯的结果。研究人员利用香农的互信息来分析这一现象，展示了其在开发创造性质量对齐（CQA）和评估基准方面的潜力。
-
人工智能反映人类连接，塑造历史上的工具和我们自身
作者回顾了人类连接的历史，从古代的洞穴壁画和讲故事到现代的数字网络和人工智能。她认为，虽然人工智能可以模仿人类的语言和理解能力，但它仅仅是我们集体知识和情感的反映，无论好坏。最终，文章强调了人际关系质量的至关重要性，以及我们的工具（包括人工智能）对我们的塑造作用与我们对它们的塑造作用一样大。