information theory
PulseAugur coverage of information theory — every cluster mentioning information theory across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
Visual guides to information theory will proliferate to aid AI researchers
The release of a visual guide to information theory for AI suggests a demand for more intuitive explanations of complex concepts. As AI models become more sophisticated and rely on underlying theoretical principles, there will likely be a continued effort to create accessible educational materials, such as more visual guides, to bridge the gap between theoretical foundations and practical AI development.
Information theory concepts are being actively applied to diverse AI and signal processing domains
Recent clusters show information theory being used to explain fundamental AI concepts (visual guide), analyze generalization in radar-based activity recognition, enhance integrated sensing and communication for satellites, and redefine 6G networks through generative models. This broad application indicates a growing trend of leveraging information-theoretic principles across various cutting-edge technological fields.
Information theory monograph on deep learning to face scrutiny and potential retraction
The recent monograph proposing a unified theory of deep learning via information theory has already generated skepticism regarding its claims and methodology. Given the user's expressed doubts about the transformer design and its theoretical underpinnings, it is plausible that further investigation will uncover significant flaws, potentially leading to a retraction or strong criticism from the research community.
-
Transformer神经网络算子增强全双工系统中的自干扰消除
研究人员开发了一种新颖的带内全双工系统数字自干扰消除方法，将其视为一个算子学习问题。该方法利用Transformer神经网络算子从历史数据中学习残余自干扰的时间演变。与可能因强期望信号而降低性能的传统方法不同，该新框架在无信号环境下进行训练，然后应用，在各种干扰水平下均表现出稳定的消除性能，并将SIR为30 dB时的消除效果提高了5-15 dB。
-
新方法将信息嵌入AI策略随机性中
研究人员引入了一种名为后验匹配随机性调制（PRAM）的新方法，用于在马尔可夫决策过程（MDP）的随机策略的随机动作中嵌入信息。该技术允许通过调整动作实现来隐式地传达信息，而无需改变整体动作分布。PRAM被视为一个信道编码问题，并被证明是渐进可靠的，能够随着状态轨迹的延长以最小的错误进行消息解码。该论文展示了PRAM在多比特策略水印和轨迹溯源等应用中的效用。
-
新研究论文探讨了AI令牌生成的局限性
一篇新论文探讨了AI模型中自回归令牌生成的局限性，重点关注基于先前符号生成下一个符号的顺序采样器。研究表明，具有有限状态的顺序采样器可以通过无状态采样器进行模拟，但会带来显著的开销。研究还表明，在固定顺序下，高效的插入式采样比顺序采样更强大，并且具有小状态的顺序采样器无法建立某些加密通道，这可能为防止恶意AI代理协调提供一种安全机制。
-
新的闭式解加速信息分解分析
研究人员为BROJA部分信息分解开发了一种闭式解，这是一种用于分析两个源关于目标变量共享信息的方法。这种新方法显著加快了连续和高维高斯变量的计算速度，提高了两个数量级以上。研究结果在提交给arXiv的一篇论文中有所详述，并附有相应的代码。
-
新论文提出任务充分收缩用于机器信息接口
本文介绍了任务充分收缩（Task-Sufficient Contraction）的概念，这是一种用于降低机器接口信息源复杂性的方法。研究探讨了在何种情况下，这种缩减可以保留下游问题族的完整性，从而在不损失保真度的情况下实现高效的问题解决。论文为有限动作集和二次损失场景提供了具体的特征描述，并提出了一个框架，使异构机器能够在无需对其内部表示进行对齐的情况下交换任务相关信息。
-
新的MEAN框架优化移动具身AI网络的能效
本文介绍了移动具身AI网络 (MEAN) 框架，该框架集成了无线环境下的智能体移动性、语义压缩和传输功率设计。研究通过联合优化这些因素来解决一个非凸优化问题，以最大化能效。提出了一种交替优化 (AO)-Dinkelbach算法来解决这个问题，该算法在不考虑移动性或压缩性的基线方法上表现出性能提升。
-
新框架提高了高维计算码本的准确性
研究人员开发了一个新框架，以提高用于高维计算和向量符号架构的密集二进制高维向量码本的准确性。该框架称为基于转换的去随机化，解决了随机构造中有限维度引起的精度问题。它将目标相似性定律与去随机化变体和生成器构造分开，从而可以显式控制初始化、选择、更新和容量处理机制，以塑造诱导的相似性配置文件。模拟验证了该理论，为选择在硬件约束下更符合所需相似性定律的标量码本生成器提供了实用指导。
-
新理论统一人工智能的通信、控制和决策
一篇新论文提出了一个实用信息理论的数学框架，旨在统一通信、控制和决策。该理论引入了 isoteleia 的概念，该概念将不同语义路径在导致相同最优行动时可以被视为实用等价的思想形式化。该框架将熵和信道容量等经典信息论概念扩展到面向任务的语境中，为智能系统基于其目标和资源约束可以提取的效用设定了基本限制。
-
新理论为量化矩阵乘法误差提供下界
研究人员开发了一个新的理论框架，以最小化量化矩阵乘法的误差。这项发表在arXiv上的研究引入了抖动标量量化的核范数下界，提供了一种优化保乘积变换的方法。该方法旨在通过调整因子范围和网格步长来减少量化误差，而不会改变最终的矩阵乘积。该论文表明，特定的构造，例如与Hadamard矩阵或离散余弦变换对齐的构造，可以达到或接近此下界，为高效矩阵运算提供了实际意义。
-
新论文将人工智能理解与预测性压缩联系起来
一篇新论文探讨了理解与压缩之间的关系，提出理解是稳健能力的有效代理。作者认为，理解一个领域就是拥有其关系结构的心理模型，这使得预测成为可能，进而实现压缩。该框架旨在解释理解的压缩性解释在人工智能中的优势和局限性。
-
新研究探讨了带水印的分布估计的minimax界限
研究人员开发了minimax界限来分析带水印对递归离散分布估计的影响。研究表明，在区分合成数据时，水印会降低真实样本的有效性。在真实样本渐近稀缺的情况下，界限表明除非假阴性率也随之降低，否则水印不会带来性能提升。此外，还提出了一种掩蔽程序，以在某些情况下缩小估计器与理论界限之间的差距。
-
概率电路被探索为人工智能推理机器
这篇特许任教资格论文将概率电路（PC）作为人工智能的框架进行探索，重点关注它们处理不确定性和高效执行复杂推理任务的能力。该研究主张将概率作为人工智能的基本语言，并与逻辑、信息论和人类认知进行类比。PC 通过利用结构约束实现各种查询的多项式时间计算，与深度学习集成，并与符号机器学习连接，从而为概率推理的计算挑战提供了解决方案。
-
新框架使用信息论解释自闭症的坚持相同性 · 跟踪 2 个来源
研究人员提出了一个使用信息论来解释自闭症患者中观察到的坚持相同性行为的新框架。这种方法将此类行为视为减少惊讶和不确定性的普遍模式，将自闭症定义为认知功能仅限于环境辨别、记忆和预测的障碍。基于条件熵的拟议指标表明，最小化惊讶可以通过学习新刺激或限制对已知信息的接触来实现，而坚持相同性则与后者一致。该框架旨在量化焦虑和舒适区等概念，并可能通过类似图灵测试的方法为学习疗法和机器人护理的开发提供信息。
-
新研究详解广播模型硬币问题中的信息复杂度
一篇新研究论文发布在arXiv上，探讨了广播模型中的硬币问题，重点关注特定概率分布的分布式测试。该研究表征了信息复杂度，并根据不同信道类型确定了最优协议，包括一种新颖的混合Hellinger--Jensen--Shannon不等式。研究结果可应用于推导多通道流式处理设置的下界以及测试任意离散分布。
-
AI内容价值：解决问题 vs. 重新思考视角
该集群探讨了“洞察力”的概念以及如何衡量其价值，特别是在人工智能生成内容的背景下。它质疑文章的主要价值在于解决问题还是促使思维发生根本性转变。讨论涉及信息论、系统设计和内容指标，作为评估知识效用的潜在框架。
-
Timnit Gebru：机器学习是统计学习的 rebranding
Timnit Gebru 认为，机器学习本质上是统计学习的 rebranding。她指出，像强化学习这样的概念起源于控制论，而许多机器学习的表述则源于信息论，这是一个拥有悠久历史和坚实理论基础的领域。
-
Renyi熵和最小熵估计新界限确立
研究人员为估计Renyi熵和最小熵（信息论和属性测试中的基本概念）建立了新的样本复杂度界限。该研究为估计k符号字母表的这些熵度量所需的样本数量提供了精确的刻画。值得注意的是，最小熵估计比香农熵需要更多的样本，样本复杂度为\Theta(k \log k)，纠正了先前的假设。
-
新论文对强化学习中的玻尔兹曼理性进行了公理化。
一篇新论文提出了玻尔兹曼理性（一种常见的随机选择模型）的公理化表征，该模型在强化学习中得到广泛应用。该研究区分了选择中的随机性与环境中的偶然性，并提出通过将独立性公理限制在环境彩票上，可以唯一地推导出玻尔兹曼策略及其相关的软贝尔曼方程。该框架为智能体设计提供了规范性评估，并阐明了无关选项独立性公理适用的条件。
-
讲义详细介绍了不确定性量化以实现最优AI决策
这份题为“决策需要不确定性量化”的讲义探讨了在面对环境不确定性时，智能体如何做出最优决策。它建立了智能体的目标、其知识以及不确定性的适当表示之间的联系。讲义区分了需要后验分布的风险中性智能体和可以使用预测集和最坏情况决策规则的风险规避智能体。对于未知环境，它提出了三种方法：固定预测器的校准、具有鲁棒优化的信用集以及模型参数上的贝叶斯推断，并强调可靠的决策需要与智能体的目标和知识相一致的不确定性表示。
-
新算法增强了低轨卫星的集成感知与通信能力
研究人员为低地球轨道（LEO）卫星系统开发了一种集成感知与通信（ISAC）的新型算法。该框架允许单个卫星在同一频谱上同时感知多个目标并服务多个通信用户，解决了无线资源有限的挑战。该算法专注于在存在信道相位不确定性的情况下，最小化总发射功率并满足感知和通信的特定要求。