information entropy
PulseAugur coverage of information entropy — every cluster mentioning information entropy across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
信息论可视化指南发布，助力AI发展
Omar Sanseviero 分享了一份信息论的可视化入门指南，强调了其在AI背景下的美妙之处和强大功能。该指南旨在提供熵和互信息等概念的直观理解，仅需基本的概率知识。它旨在解释数据压缩和传输的基本极限。
-
新的LP-SFT方法在微调过程中保留语言模型能力
研究人员推出了一种新颖的监督微调方法LP-SFT，旨在保留预训练语言模型固有的熵结构。标准的微调会因过度关注目标标签词元而损害现有能力。LP-SFT通过维持替代合理词元之间的相对结构来解决这个问题，从而在不牺牲采样多样性的情况下缓解能力退化。实验表明，LP-SFT在平衡准确性和更广泛的性能指标方面优于普通SFT和其他增强基线。
-
通过熵控制增强大型语言模型的创意写作能力
研究人员开发了一种新颖的方法，通过操纵大型语言模型（LLM）的输出熵来增强其创意写作能力。该技术涉及在文本生成过程中调整温度参数，该参数会影响输出的随机性和创造力。通过仔细控制熵，LLM可以生成更多样化和富有想象力的内容，超越可预测或重复的文本。
-
新理论将熵与深度学习极限联系起来，并提出了EGD算法
研究人员引入了一个新的理论框架，该框架将信息论、拓扑学和统计力学联系起来，以理解深度神经网络中可学性的极限。该框架定义了一个“熵可学性视界”（Entropic Learnability Horizon, ELH），这是一个基本定律，规定只有当数据的流形香农熵超过函数决策边界的拓扑熵（由网络权重空间的熵调节）时，网络才能学习目标函数。当目标边界的复杂性超过这个信息视界时，系统就会进入“信息性挫败”（Informational Frust…
-
信息格学习被构建为概率图模型结构学习
一篇新论文将信息格学习（ILL）引入作为概率图模型（PGM）结构学习的一种方法。ILL通过将信号投影到抽象层次结构上，来学习可解释的规则。当应用于概率质量函数时，ILL学习到的规则可以被解释为因子图中的约束，这与最大熵模型密切相关。该框架为推理和混合符号-概率学习提供了新的途径。
-
MC Dropout在脑肿瘤分割中的可靠性受到质疑
研究人员调查了蒙特卡洛Dropout（MC Dropout）在MRI扫描中分割脑肿瘤的可靠性，发现虽然它可以将不确定性与错误对齐，但可能并不总是保证临床安全。在一项针对126名BraTS21患者的研究中，MC Dropout表现出强大的不确定性-错误对齐能力，正确地将错误体素排名更高，并识别出分割性能显著较低的亚组。然而，该研究还揭示，全局对齐指标可能会掩盖关键区域特定的校准失败，例如其中一个模型尽管整体AUROC得分很高，但在临床上…
-
新论文区分了人工智能中的描述性不确定性与监管性不确定性
一篇新论文区分了描述性不确定性（仅描述输出分布）和监管性不确定性（主动影响系统策略并驱动适应）。研究表明，当前的 Transformer 架构在推理过程中仅限于描述性不确定性。这一限制通过 Landauer 原理得到解释，该原理表明不确定性要具有监管性，认知误差必须产生实际的能量成本，而在解耦系统中并非如此。对不同规模语言模型的实证测试表明，在不同任务中，token 级别的熵在统计上保持不变，这表明其与任务准确性解耦，并且存在一种尺度不变的限制。
-
新的PIDL框架以高数据效率预测熵
研究人员开发了一种新颖的物理信息深度学习（PIDL）框架，用于预测复杂系统中的熵。这种统一的方法同时强制执行微分方程残差和信息论边界，从而实现域不变的熵表示。PIDL框架表现出高数据效率，仅用30%的训练数据即可达到90%以上的准确率，并严格遵守热力学原理，显示出零第二定律违规。
-
大型语言模型量化天体物理学方法的可复现性
研究人员开发了一个新的信息论框架，使用大型语言模型（LLMs）作为诊断工具来评估文本描述的科学方法的重现性。通过将LLM生成的实现视为概率分布，并用香农熵和Jensen-Shannon散度测量其方差，该研究量化了书面描述在多大程度上约束了算法实现。一项关于天体物理学光谱重构的案例研究表明，虽然LLMs可以恢复核心方法，但它们难以推断精确科学校准所需的默会专家知识，这凸显了限制严格重现性的“熵底线”。
-
新的熵等价性测试提供了高效的分布分析
研究人员引入了一个名为熵等价性测试的新问题，用于概率分布分析。该方法通过关注区分相同分布与香农熵存在显著差异的分布，放宽了标准的接近性测试。该团队为此任务开发了一种高效算法，证明其所需的样本数量少于传统的接近性测试。
-
新的基于熵的方法识别VAE中的极化状态
研究人员开发了一种新的信息论方法来识别潜变量模型（特别是变分自编码器VAE）中的极化状态。这种基于均值表示熵的新标准，比以前依赖高斯先验的方法提供了更通用的方法。该研究在理论上将这种熵度量与KL最小化联系起来，并在各种VAE架构中通过实证验证了其有效性，表明在归一化后，被动的潜变量维度仍然可以为下游任务性能做出贡献。
-
指南详解从决策树到梯度提升的树模型
本文提供了一份树模型指南，解释了它们在表格数据上的有效性以及从简单的决策树到XGBoost、LightGBM和CatBoost等高级梯度提升算法的演变过程。文章详细介绍了决策树如何通过基于特征的分割来工作，并介绍了用于确定分类数据的最佳分割点的基尼指数和熵等不纯度度量。
-
新方法为LLM和VLM提供高效数据估值
两篇新研究论文提出了用于大型语言模型（LLM）数据估值的新颖方法。第一篇论文“For-Value”引入了一个高效的仅前向传播框架，该框架使用单次前向传播来估算数据价值，避免了计算成本高昂的反向传播。第二篇论文“Utility-Aware Data Pricing”提出了一个动态的、基于效用的定价模型，该模型在token级别量化数据的贡献，并结合了经验性训练增益和加密可验证性，以实现透明的数据市场。
-
新的FEA方法加速了机器学习的熵度量计算
研究人员开发了快速熵近似（FEA）方法，这是一种用于近似香农熵和KL散度等熵度量的新方法。这些近似是非奇异的、保持属性的，并且比现有技术快得多，所需的计算操作更少。与LASSO等方法相比，FEA在机器学习特征提取方面展示了高达三个数量级的加速，从而实现了更快的训练和更高的模型质量。