Shannon
PulseAugur coverage of Shannon — every cluster mentioning Shannon across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Shannon 和 Turing 在 1943 年预测了人工智能
1943年，Claude Shannon 和 Alan Turing 独立提出了关于人工智能潜力的理论。他们的工作奠定了后来影响人工智能发展的基本概念。
-
强调了在LLM语境中“曲线过拟合”一词的误用
当应用于大型语言模型（LLM）时，如果模型逐字复现其训练数据中的片段，那么“曲线过拟合”这个术语就被误用了。这种特定的行为并非真正的过拟合，过拟合指的是模型在训练数据上表现良好，但在新的、未见过的数据样本上表现糟糕。该术语的误用旨在欺骗那些不熟悉统计算法和神经网络的人。
-
新的博弈论方法实现次对数交换遗憾值
研究人员开发了一种用于多方一般和博弈的新方法，该方法显著减少了交换遗憾值，提高了收敛到相关均衡的效率。这种新颖的方法结合了Blum--Mansour归约和乐观的正则化领导者跟随（optimistic follow-the-regularized-leader）方法，并利用了混合正则化器。该技术在这一环境中首次提供了次对数的个体交换遗憾值保证，对复杂博弈场景中的博弈分布具有影响。
-
新算法利用信息论发现公式化文本聚类
研究人员开发了一种新颖的信息论算法，用于识别文本数据中的公式化聚类。该方法利用加权自信息分布，将经典度量扩展到连续公式，以应用于神经嵌入。当应用于《希伯来圣经》时，该算法成功分离了风格层次，并提供了一个量化的文本分层框架，为文本的构成和演变提供了新的见解。
-
New MINT-V2X dataset integrates vehicle mobility and network data
研究人员推出 MINT-V2X，一个旨在通过整合移动性和无线网络参数来弥合车联网（V2X）通信研究差距的新数据集。该综合数据集是通过结合 SUMO 的交通模拟和 OMNeT++/Simu5G 的网络模拟生成的，符合 3GPP Release 14 和 ETSI 标准。MINT-V2X 包含来自 1,386 辆汽车的超过 987 万个同步数据点，提供了真实的城市交通场景。通过路侧单元负载预测的案例研究证明了该数据集的实用性，显示出在纳入…
-
LLM aids discovery of new lower bounds for Shannon capacity of odd cycles
研究人员开发了新的方法来为奇数圈的香农容量建立改进的下界，特别是 C7、C11 和 C13。这些进展是通过在这些图的强幂中构建特定的独立集来实现的。值得注意的是，发现过程涉及与大型语言模型 (LLM) 的迭代交互，这凸显了 LLM 在生成复杂组合结构方面的日益增长的实用性。
-
神经符号AGI研究探索逻辑、概率以实现高级机器人 · 追踪2个来源
两篇新研究论文探讨了人工智能通用智能（AGI）机器人中神经符号方法的集成。第一篇论文介绍了一个使用Belnap双格和封闭知识假设的框架，用于处理未知事实和悖论，旨在通过逻辑推理实现可控安全。第二篇论文在此基础上，结合了基于Shannon最大信息熵和Nilsson概率结构的概率计算，并利用神经网络实现AGI系统中的实时决策。
-
新数学理论量化目标导向型代理的价值
研究人员开发了一个新的数学框架来量化价值，将其定义为目标导向型代理相对于其目标将资源转化为进展的比率。该理论借鉴了信息论的原理，提出了价值的对数度量，并建立了一个将价值创造与互信息联系起来的编码定理。该框架在语言模型上进行了实证测试，结果表明感知互信息与能力相关，而非参数数量，并且实现的价值与理论预测一致。
-
新的几何框架衡量文本中的语义信息
研究人员开发了一个新的几何框架来衡量文本中包含的语义信息。该框架在最近的一篇论文中进行了详细介绍，提供了一个三坐标语义画像，捕捉了思想的新颖性、广度和整合性。研究还证明，没有单一的标量摘要能够同时满足分析稳定性、序数稳健性和交叉表示可比性，从而导致标量摘要的权衡三角。
-
Fine-tuned LLMs automate proving of entropy inequalities
研究人员开发了一种方法，利用微调的语言模型和引导式树搜索来自动证明香农型熵不等式。他们的小型模型，参数范围从 0.6B 到 1.7B，在涉及 10 到 15 个变量的 60 个不等式的测试集上取得了 85% 的成功率。这种方法显著优于使用 GPT-5.5 和 Psitip 等大型模型的零样本提示。一项消融研究表明，4096 个 token 的训练上下文长度和非偏斜的数据分布对性能最优化。
-
新理论将谱估计与群论统一，应用于人工智能领域
研究人员引入了一个名为代数多样性（Algebraic Diversity）的新框架，该框架利用群论谱估计来分析单次观测数据。该方法推广了时间平均，并证明处理增益是群阶的属性，而非传感器数量的属性。该框架统一了DFT、DCT和KLT等各种信号处理技术，并在大规模MIMO、图信号处理和Transformer LLM分析等领域具有潜在应用。
-
LLM实现通过熵编码的实时文本传输
研究人员探索了使用基于LLM的熵编码进行实时文本传输的学习、预测和压缩之间的联系。他们分析了在固定速率信道上，当因果语言模型预测符号进行编码时，压缩效率与传输延迟之间的权衡。该研究比较了包括霍夫曼编码、算术编码和rANS在内的各种编码方案，发现霍夫曼编码由于其零算法延迟，适用于过度配置的信道，而算术编码则以延迟为代价提供更好的压缩效果。这些发现通过从GPT-2 (124M)到Llama 3.2 (3B)的模型进行了验证，表明更大的模型…
-
研究人员提出语义变分贝叶斯，以简化隐变量求解
研究人员推出了一种新方法——语义变分贝叶斯（SVB），旨在简化求解隐变量分布的过程。SVB建立在作者先前在语义信息理论方面的工作基础上，将率失真函数扩展到率保真度函数R(G)。这种新方法利用最大信息效率准则（G/R），并结合了各种约束函数，旨在与传统的变分贝叶斯方法相比，实现计算上的简化。初步实验表明，SVB在数据压缩、最大熵控制和强化学习等应用中具有潜力，并计划进一步探索其在神经网络和深度学习中的应用。
-
新框架使用信息论衡量写作中的创造性质量
一篇新论文提出了“校准的惊喜”作为理解写作中创造性质量的理论框架。该概念认为，真正的创造力源于作者意图、读者期望和现实逻辑的融合，从而产生不可预测但连贯的结果。研究人员利用香农的互信息来分析这一现象，展示了其在开发创造性质量对齐（CQA）和评估基准方面的潜力。
-
人工智能反映人类连接，塑造历史上的工具和我们自身
作者回顾了人类连接的历史，从古代的洞穴壁画和讲故事到现代的数字网络和人工智能。她认为，虽然人工智能可以模仿人类的语言和理解能力，但它仅仅是我们集体知识和情感的反映，无论好坏。最终，文章强调了人际关系质量的至关重要性，以及我们的工具（包括人工智能）对我们的塑造作用与我们对它们的塑造作用一样大。