Rényi entropy
PulseAugur coverage of Rényi entropy — every cluster mentioning Rényi entropy across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的“Rényi Sharpness”度量显示出与泛化能力的强相关性
研究人员引入了“Rényi sharpness”，这是一种用于评估神经网络泛化能力的新度量，旨在改进现有方法。与关注平均损失或Hessian矩阵最大特征值的传统锐度度量不同，Rényi sharpness利用Rényi熵来捕捉Hessian谱的平均扩散。这种新颖的方法在实验评估的各种场景中，均显示出与泛化能力之间存在强大且一致的相关性。此外，该论文还建立了与Rényi sharpness相关的泛化界限，并提出了一种名为Rényi Sh…
-
新的SAKE方法提高了文本扩散模型的多样性
研究人员开发了一种新的无需训练的引导方法SAKE（Semantic-Aware Kernel Entropy），以提高文本扩散模型的多样性。该方法利用Gram矩阵上的Rényi熵来捕捉语义交互和标记位置，动态调整采样分布。实验表明，SAKE在保真度和多样性之间取得了更好的平衡，与现有方法相比，在代码和数学生成等推理任务上表现更好。
-
Renyi熵和最小熵估计新界限确立
研究人员为估计Renyi熵和最小熵（信息论和属性测试中的基本概念）建立了新的样本复杂度界限。该研究为估计k符号字母表的这些熵度量所需的样本数量提供了精确的刻画。值得注意的是，最小熵估计比香农熵需要更多的样本，样本复杂度为\Theta(k \log k)，纠正了先前的假设。
-
新的投影最大熵框架统一了统计参考分布
研究人员引入了投影最大熵（Projective Maximum Entropy），一个用于构建统计参考分布的新框架。该方法解决了非归一化统计模型和规定可容许区域的局限性。该框架建立了一个普适性定理，统一了各种熵和得分构造，并将共同优化器表征为q-指数密度。此外，它还提供了一种方法，可以根据指定的马氏距离接受区域，唯一确定有界支撑参考分布的变形参数。
-
新方法使用热核熵分析流形
研究人员开发了一种名为热核熵剖面（heat-kernel entropy profiles）的新方法，用于分析紧致流形上的加权经验测度。该技术利用内在热流扩散加权原子，以跟踪不同尺度的不均匀性。由此产生的几何有效样本量（geometric effective sample size）会折扣附近或重复的粒子，同时与分离良好的粒子的标准有效样本量保持一致。在球体上的实验表明，这种剖面可以揭示传统仅基于权重的摘要所忽略的复杂粒子结构。
-
新的LP-SFT方法保留语言模型熵结构
研究人员推出了一种新颖的监督微调方法LP-SFT，旨在保留预训练语言模型固有的多模态熵结构。标准的微调方法可能仅关注目标token而忽略模型对其他可能选项的广泛理解，从而损害现有能力。LP-SFT通过分析和维护模型代表丰富分布知识的熵峰来解决这个问题。实验表明，LP-SFT通过缓解能力退化并保留采样多样性，提高了性能并平衡了准确性指标。
-
新的LP-SFT方法在微调过程中保留语言模型能力
研究人员推出了一种新颖的监督微调方法LP-SFT，旨在保留预训练语言模型固有的熵结构。标准的微调会因过度关注目标标签词元而损害现有能力。LP-SFT通过维持替代合理词元之间的相对结构来解决这个问题，从而在不牺牲采样多样性的情况下缓解能力退化。实验表明，LP-SFT在平衡准确性和更广泛的性能指标方面优于普通SFT和其他增强基线。
-
新型MAE利用多重分形分析改进医学图像诊断
研究人员开发了一种名为多重分形优化掩码自编码器（MO-MAE）的新型掩码自编码器（MAE）技术，用于医学图像分析。该方法利用多重分形分析，特别是Renyi熵，来识别和优先处理医学图像中复杂、信息丰富的区域进行掩码处理。通过关注这些具有诊断相关性的区域，MO-MAE旨在提高模型重建关键组织结构的能力，从而为计算机辅助诊断提供更准确、更有效的表示。在MedMNIST和COVID-CT等数据集上的初步评估显示，与现有模型相比，其性能令人鼓舞…
-
新界限将泛化差距与数据熵联系起来
研究人员开发了一种新的方法来界定机器学习模型的泛化差距，这是理解过拟合的关键因素。这种新颖的方法建立了一个模型无关的泛化差距上限，仅取决于数据的 Rényi 熵。研究结果表明，如果数据量相对于数据分布的熵足够大，大型模型就能保持良好的泛化性能。该框架还解释了为什么向数据添加随机噪声会通过增加数据的 Rényi 熵来降低性能。