Rényi entropy
PulseAugur coverage of Rényi entropy — every cluster mentioning Rényi entropy across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法使用热核熵分析流形
研究人员开发了一种名为热核熵剖面（heat-kernel entropy profiles）的新方法，用于分析紧致流形上的加权经验测度。该技术利用内在热流扩散加权原子，以跟踪不同尺度的不均匀性。由此产生的几何有效样本量（geometric effective sample size）会折扣附近或重复的粒子，同时与分离良好的粒子的标准有效样本量保持一致。在球体上的实验表明，这种剖面可以揭示传统仅基于权重的摘要所忽略的复杂粒子结构。
-
新的LP-SFT方法保留语言模型熵结构
研究人员推出了一种新颖的监督微调方法LP-SFT，旨在保留预训练语言模型固有的多模态熵结构。标准的微调方法可能仅关注目标token而忽略模型对其他可能选项的广泛理解，从而损害现有能力。LP-SFT通过分析和维护模型代表丰富分布知识的熵峰来解决这个问题。实验表明，LP-SFT通过缓解能力退化并保留采样多样性，提高了性能并平衡了准确性指标。
-
新的LP-SFT方法在微调过程中保留语言模型能力
研究人员推出了一种新颖的监督微调方法LP-SFT，旨在保留预训练语言模型固有的熵结构。标准的微调会因过度关注目标标签词元而损害现有能力。LP-SFT通过维持替代合理词元之间的相对结构来解决这个问题，从而在不牺牲采样多样性的情况下缓解能力退化。实验表明，LP-SFT在平衡准确性和更广泛的性能指标方面优于普通SFT和其他增强基线。
-
新型MAE利用多重分形分析改进医学图像诊断
研究人员开发了一种名为多重分形优化掩码自编码器（MO-MAE）的新型掩码自编码器（MAE）技术，用于医学图像分析。该方法利用多重分形分析，特别是Renyi熵，来识别和优先处理医学图像中复杂、信息丰富的区域进行掩码处理。通过关注这些具有诊断相关性的区域，MO-MAE旨在提高模型重建关键组织结构的能力，从而为计算机辅助诊断提供更准确、更有效的表示。在MedMNIST和COVID-CT等数据集上的初步评估显示，与现有模型相比，其性能令人鼓舞…
-
新界限将泛化差距与数据熵联系起来
研究人员开发了一种新的方法来界定机器学习模型的泛化差距，这是理解过拟合的关键因素。这种新颖的方法建立了一个模型无关的泛化差距上限，仅取决于数据的 Rényi 熵。研究结果表明，如果数据量相对于数据分布的熵足够大，大型模型就能保持良好的泛化性能。该框架还解释了为什么向数据添加随机噪声会通过增加数据的 Rényi 熵来降低性能。