Jensen-Shannon divergence
PulseAugur coverage of Jensen-Shannon divergence — every cluster mentioning Jensen-Shannon divergence across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的邻域平滑方法提高了神经网络的校准性能
研究人员引入了一种名为“邻域平滑用于校准”（Neighborhood Smoothing for Calibration）的新方法，旨在解决现代神经网络中的过度自信问题。该方法利用学习表示中的邻域结构，鼓励相似样本具有相似的预测分布。该技术作为一种基于图的正则化器实现，会惩罚邻近预测分布之间的分歧，并在各种基准测试中显示出预测质量和校准方面的实证改进。
-
新的统计检验使用生成过程进行双样本检验
研究人员开发了一种使用生成过程进行双样本检验的新型统计方法，该方法可确定两个数据样本是否源自同一分布。该方法在样本之间构建一个随机插值，并分析其性质，特别指出如果样本相同，其分布在时间反射下是不变的。该检验比较的是传输过程的动力学，而不仅仅是终点，在经验上达到了最先进的性能。
-
新的中性集成方法提高了轴承故障检测的不确定性感知能力
研究人员开发了一种新颖的中性集成分类方法，以提高轴承故障检测中的不确定性感知能力。该方法将随机森林、XGBoost 和逻辑回归集成分解为四个指标：最高类证据、最佳竞争者证据、预测熵和决策分歧。在实验室和工业基准上的实验表明，预测熵与误差具有良好的相关性，比传统的置信度分数提供了更好的见解。研究还发现，融合时域和频域模型并对其 Jensen-Shannon 散度进行评分，尤其是在分布变化下，其性能优于单个模型。
-
语言大模型生成逼真出行日记，在出行目的和方式预测方面优于传统方法
研究人员开发了一种新方法，利用语言大模型（LLMs）为交通建模生成个人出行日记。该方法从美国社区调查和智能位置数据库等开源数据中合成用户画像，然后提示语言大模型创建详细的出行属性，如出行目的、方式和距离。生成的日记与康涅狄格州全州交通研究的真实世界数据进行了比较，使用了综合真实性评分进行评估，显示出与传统方法相当的整体真实性，并在预测出行目的和方式一致性方面表现出色。
-
CyclOT框架学习来自非配对数据的二次最优传输图
研究人员推出了一种新颖的神经网络框架CyclOT，用于从高维非配对样本中学习二次最优传输图。这种双向方法利用同步的前向-后向插值以及结合了双向二次作用、判别器约束的Jensen-Shannon端点目标和循环一致性的训练目标。该方法不需要预先计算的样本配对或显式的凸势参数化。理论结果表明，在特定条件下，该方法能够恢复最优传输图，并且在MNIST和CelebA等各种数据集上的实验验证了其性能。
-
新的贝叶斯方法改进了多代理AI的决策能力
研究人员开发了一种使用贝叶斯逆向推理的多代理集体决策新方法。该方法旨在通过分析跨路径一致性来提高多个AI代理产生冲突答案时的性能。提出的策略，包括MinJS、FwdJS和LogLin，利用Jensen-Shannon散度对代理进行排名，并在各种LLM骨干的DDXPlus基准测试中显示出一致的改进。
-
新基准和框架提升多模态AI推理和可靠性
研究人员开发了新的基准和框架，以提高多模态AI智能体的可靠性和基于证据的推理能力。Sci-MMR是科学推理的基准测试，突显了当前模型在答案准确性和证据恢复之间存在的显著差距，并指出了证据获取和整合中的瓶颈。同时，CUSP提供了一种无需训练的方法来量化多智能体多模态系统中的集体不确定性，通过分析模型响应的分散性和冲突来提高可靠性。V-Retrver引入了一个智能体推理框架，该框架利用外部工具主动获取视觉证据，以提高多模态检索的准确性和可靠性。
-
神经音频编解码器令牌显示出类似语言的统计特性
一篇新论文分析了神经音频编解码器生成的令牌的统计特性，发现这些序列表现出类似语言的特征。该研究评估了13种不同的神经音频编解码器在各种语料库和噪声条件下的表现，采用了Zipf和Heaps参数、unigram熵和Jensen-Shannon散度等指标。结果表明，声学条件和使用的量化器类型显著影响这些指标，其中unigram熵对量化器的元类别特别敏感。研究还确定了在噪声条件下与不同编解码器架构相关的特定退化特征，如崩溃和爆炸。
-
新的马尔可夫模型技术分析德彪西《Syrinx》中的音乐结构
研究人员开发了一种估计马尔可夫模型中转移核的新颖方法，利用重叠滑动窗口直接从符号序列中导出局部核。这种由观察驱动的方法在德彪西的《Syrinx》上进行了测试，并将其性能与A-B-A'读法进行了比较。研究发现，在窗口大小L=6时，绝对音高和记谱时值核都达到了它们的Jensen-Shannon最大值，尽管时值平台比音高平台窄得多。涉及再合成的进一步实验量化了与源材料的偏差。
-
扩散语言模型通过新的效率和安全技术取得进展 · 跟踪 10 个来源
近期研究探讨了扩散语言模型（DLM）的进展，重点在于提高其效率、安全性和能力。论文介绍了 Q-Skew 等方法，用于隐私风险评估和个人身份信息（PII）提取；以及通过识别早期去噪步骤中的拒绝信号来增强安全对齐的 Refusal-Aware Early Commitment (RAEC)。CARVE 和 Survival-Guided Length Decoding 等技术旨在优化生成长度和降低计算成本，而 Affix Cache 和 …
-
新指标量化医学AI公平性中的解释一致性
研究人员引入了一个名为解释一致性得分（ECS）的新指标来评估医学影像模型的公平性。该得分基于Jensen-Shannon散度，量化了不同人口统计学群体之间归因图的相似程度。在一项涉及糖尿病视网膜病变筛查的案例研究中，ECS显示，尽管不同族裔群体的预测性能存在差异，但解释一致性保持较高水平，并且与这些性能差异没有显著关联。研究结果表明，在评估模型公平性时，解释一致性提供了比预测性能更具补充性的视角。
-
CrevasseSeg 框架采用标签高效方法进行无人机冰川测绘
研究人员开发了 CrevasseSeg 框架，该框架专为使用无人机 (UAV) 影像进行冰川冰裂缝的高效分割而设计。该方法旨在减少对通常成本高昂且需要专家知识的广泛像素级标注的需求。该研究对各种自监督学习目标和架构进行了基准测试，发现与非线性分类器结合的卫星影像预训练特征，即使在标记数据有限的情况下也能显著提高性能。
-
LSTM网络通过自适应学习提升电力价格预测能力
研究人员开发了一个使用长短期记忆（LSTM）网络的自适应在线学习框架，以提高加州能源市场日前电力价格预测的准确性。该模型结合了历史价格、天气数据和能源发电结构，并通过结合平均绝对误差（MAE）、Jensen-Shannon散度（JSD）和光滑度惩罚的新型自定义损失函数进行了增强。这种自适应方法在性能上优于静态模型，显著降低了均方误差（MSE）、MAE和均方根误差（RMSE）。
-
新理论赋能模块化训练鲁棒大语言模型
研究人员开发了一个理论框架，通过组合较小的、特定领域的专家模型来模块化训练大语言模型（LLMs）。该方法旨在实现与单体模型相当的性能，同时在各种数据混合中提供鲁棒性，无需进行启发式调整。该框架利用门控机制，并被表述为一个极小极大博弈，具有模块化作为强大正则化器的理论保证。所提出的方法可能优于在聚合数据上重新训练的模型，并引入了一种新的算法和蒸馏技术以实现高效实现和经验验证。
-
人工智能利用视觉词汇绘制肺癌生长模式图
研究人员开发了一种新颖的弱监督视觉词袋（BoVW）流水线，用于从全切片图像中绘制肺腺癌生长模式图。该方法利用冻结的基础模型嵌入来学习视觉词汇，从而能够创建可解释的空间模式图。该流水线在临床相关任务（包括肿瘤/健康分类和组织学分级分类）上表现出强大的性能，通过保留关键的异质性，在某些方面优于传统的监督方法。
-
New HEIMAT framework automatically debiases language models
研究人员开发了一个名为 HEIMAT 的新框架，用于自动消除语言模型的偏见。该框架解决了现有方法的一些局限性，例如计算成本高、可扩展性问题以及需要手动标注数据。HEIMAT 分两个阶段进行：首先，它使用启发式提示来揭示模型偏见并生成相应的上下文提示；其次，通过最小化模型在这些提示上的预测的 Jensen-Shannon 散度来微调模型。实验表明，HEIMAT 在不同文化背景下能有效减少偏见，同时保留模型自然语言理解能力。
-
Divergence Decoding 在无需重新训练的情况下融合 LLM 能力
研究人员推出了一种名为 Divergence Decoding 的新型训练无关框架，旨在将专业科学语言模型的能与通用模型融合。该方法使用 Jensen-Shannon 散度来监测模型间的分布差异，当专家模型显示出显著差异时，动态地路由到通用模型。在 Qwen 和 Llama 系列模型上，跨越 GPQA 和 ChemBench 等基准测试，Divergence Decoding 表现优于单一模型基线，预示着 LLM 推理时自适应协作的新范式。
-
新的小波去噪框架针对网络异常检测
研究人员开发了一种新颖的漂移感知小波去噪框架，专门用于网络流量异常检测。该方法将自适应小波去噪视为一个为识别异常和估计网络容量而优化的预处理步骤。该系统利用一个四探测器门来触发一个学习策略，该策略根据下游任务效用而不是重建保真度来选择最优小波配置。
-
新方法Soft Clamp应对AI代理过度调用工具的问题
研究人员在用于使用工具的AI代理的多教师在线策略蒸馏中发现了一种故障模式。该方法虽然提高了工具调用召回率，但可能导致代理不恰当地过度调用工具。该论文介绍了一种名为“Soft Clamp”的新校准技术，该技术可以动态调整token级别的散度，以减轻这种过度调用行为，同时不牺牲准确性。这种方法有助于确保代理正确地平衡工具使用与直接响应。
-
新研究分析用于信用风险模型监控的散度度量
一篇新发表在arXiv上的研究论文分析了用于监控信用风险模型的散度度量的统计特性和功效。该研究侧重于Jensen-Shannon散度和Kullback-Leibler散度，并将它们与常用的总体稳定性指数（Population Stability Index）进行了比较。研究结果表明，Jensen-Shannon散度能够更好地控制第一类错误（Type I errors），最大限度地减少假阳性，但与Kullback-Leibler散度和总…