实体
Shannon mutual information
Shannon mutual information
PulseAugur coverage of Shannon mutual information — every cluster mentioning Shannon mutual information across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架利用信息论恰当估值AI数据集
研究人员开发了一个新的信息论框架，用于恰当评估AI中的数据集策展方法。该方法使用Blackwell信息量排序和Shannon互信息来衡量策展数据在多大程度上能告知真实模型参数，旨在避免Goodhart定律等问题，即评估指标成为目标并失去其意义。实验表明，与可能偏好此类策略的传统方法不同，该方法可以识别并惩罚过度拟合测试集的数据策展策略。
-
新的几何信息流框架增强了大语言模型的安全性
研究人员推出了一种名为几何信息流（GIF）的新框架，旨在控制大语言模型（LLMs）中的信息流，并减轻安全和隐私风险。GIF利用大语言模型的雅可比矩阵和局部输出几何来精确测量信息流，解决了先前方法中存在的污点爆炸问题。评估表明，GIF在检测敏感信息泄露方面显著优于基于注意力的方法，并且在代币成本大大降低的情况下，其性能可以媲美甚至超越GPT-5.5等模型。