Jensen-Shannon divergence
PulseAugur coverage of Jensen-Shannon divergence — every cluster mentioning Jensen-Shannon divergence across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
神经音频编解码器令牌显示出类似语言的统计特性
一篇新论文分析了神经音频编解码器生成的令牌的统计特性，发现这些序列表现出类似语言的特征。该研究评估了13种不同的神经音频编解码器在各种语料库和噪声条件下的表现，采用了Zipf和Heaps参数、unigram熵和Jensen-Shannon散度等指标。结果表明，声学条件和使用的量化器类型显著影响这些指标，其中unigram熵对量化器的元类别特别敏感。研究还确定了在噪声条件下与不同编解码器架构相关的特定退化特征，如崩溃和爆炸。
-
新的马尔可夫模型技术分析德彪西《Syrinx》中的音乐结构
研究人员开发了一种估计马尔可夫模型中转移核的新颖方法，利用重叠滑动窗口直接从符号序列中导出局部核。这种由观察驱动的方法在德彪西的《Syrinx》上进行了测试，并将其性能与A-B-A'读法进行了比较。研究发现，在窗口大小L=6时，绝对音高和记谱时值核都达到了它们的Jensen-Shannon最大值，尽管时值平台比音高平台窄得多。涉及再合成的进一步实验量化了与源材料的偏差。
-
扩散语言模型通过新的效率和安全技术取得进展 · 跟踪 10 个来源
近期研究探讨了扩散语言模型（DLM）的进展，重点在于提高其效率、安全性和能力。论文介绍了 Q-Skew 等方法，用于隐私风险评估和个人身份信息（PII）提取；以及通过识别早期去噪步骤中的拒绝信号来增强安全对齐的 Refusal-Aware Early Commitment (RAEC)。CARVE 和 Survival-Guided Length Decoding 等技术旨在优化生成长度和降低计算成本，而 Affix Cache 和 …
-
新指标量化医学AI公平性中的解释一致性
研究人员引入了一个名为解释一致性得分（ECS）的新指标来评估医学影像模型的公平性。该得分基于Jensen-Shannon散度，量化了不同人口统计学群体之间归因图的相似程度。在一项涉及糖尿病视网膜病变筛查的案例研究中，ECS显示，尽管不同族裔群体的预测性能存在差异，但解释一致性保持较高水平，并且与这些性能差异没有显著关联。研究结果表明，在评估模型公平性时，解释一致性提供了比预测性能更具补充性的视角。
-
CrevasseSeg 框架采用标签高效方法进行无人机冰川测绘
研究人员开发了 CrevasseSeg 框架，该框架专为使用无人机 (UAV) 影像进行冰川冰裂缝的高效分割而设计。该方法旨在减少对通常成本高昂且需要专家知识的广泛像素级标注的需求。该研究对各种自监督学习目标和架构进行了基准测试，发现与非线性分类器结合的卫星影像预训练特征，即使在标记数据有限的情况下也能显著提高性能。
-
LSTM网络通过自适应学习提升电力价格预测能力
研究人员开发了一个使用长短期记忆（LSTM）网络的自适应在线学习框架，以提高加州能源市场日前电力价格预测的准确性。该模型结合了历史价格、天气数据和能源发电结构，并通过结合平均绝对误差（MAE）、Jensen-Shannon散度（JSD）和光滑度惩罚的新型自定义损失函数进行了增强。这种自适应方法在性能上优于静态模型，显著降低了均方误差（MSE）、MAE和均方根误差（RMSE）。
-
新理论赋能模块化训练鲁棒大语言模型
研究人员开发了一个理论框架，通过组合较小的、特定领域的专家模型来模块化训练大语言模型（LLMs）。该方法旨在实现与单体模型相当的性能，同时在各种数据混合中提供鲁棒性，无需进行启发式调整。该框架利用门控机制，并被表述为一个极小极大博弈，具有模块化作为强大正则化器的理论保证。所提出的方法可能优于在聚合数据上重新训练的模型，并引入了一种新的算法和蒸馏技术以实现高效实现和经验验证。
-
人工智能利用视觉词汇绘制肺癌生长模式图
研究人员开发了一种新颖的弱监督视觉词袋（BoVW）流水线，用于从全切片图像中绘制肺腺癌生长模式图。该方法利用冻结的基础模型嵌入来学习视觉词汇，从而能够创建可解释的空间模式图。该流水线在临床相关任务（包括肿瘤/健康分类和组织学分级分类）上表现出强大的性能，通过保留关键的异质性，在某些方面优于传统的监督方法。
-
New HEIMAT framework automatically debiases language models
研究人员开发了一个名为 HEIMAT 的新框架，用于自动消除语言模型的偏见。该框架解决了现有方法的一些局限性，例如计算成本高、可扩展性问题以及需要手动标注数据。HEIMAT 分两个阶段进行：首先，它使用启发式提示来揭示模型偏见并生成相应的上下文提示；其次，通过最小化模型在这些提示上的预测的 Jensen-Shannon 散度来微调模型。实验表明，HEIMAT 在不同文化背景下能有效减少偏见，同时保留模型自然语言理解能力。
-
Divergence Decoding 在无需重新训练的情况下融合 LLM 能力
研究人员推出了一种名为 Divergence Decoding 的新型训练无关框架，旨在将专业科学语言模型的能与通用模型融合。该方法使用 Jensen-Shannon 散度来监测模型间的分布差异，当专家模型显示出显著差异时，动态地路由到通用模型。在 Qwen 和 Llama 系列模型上，跨越 GPQA 和 ChemBench 等基准测试，Divergence Decoding 表现优于单一模型基线，预示着 LLM 推理时自适应协作的新范式。
-
新的小波去噪框架针对网络异常检测
研究人员开发了一种新颖的漂移感知小波去噪框架，专门用于网络流量异常检测。该方法将自适应小波去噪视为一个为识别异常和估计网络容量而优化的预处理步骤。该系统利用一个四探测器门来触发一个学习策略，该策略根据下游任务效用而不是重建保真度来选择最优小波配置。
-
新方法Soft Clamp应对AI代理过度调用工具的问题
研究人员在用于使用工具的AI代理的多教师在线策略蒸馏中发现了一种故障模式。该方法虽然提高了工具调用召回率，但可能导致代理不恰当地过度调用工具。该论文介绍了一种名为“Soft Clamp”的新校准技术，该技术可以动态调整token级别的散度，以减轻这种过度调用行为，同时不牺牲准确性。这种方法有助于确保代理正确地平衡工具使用与直接响应。
-
新研究分析用于信用风险模型监控的散度度量
一篇新发表在arXiv上的研究论文分析了用于监控信用风险模型的散度度量的统计特性和功效。该研究侧重于Jensen-Shannon散度和Kullback-Leibler散度，并将它们与常用的总体稳定性指数（Population Stability Index）进行了比较。研究结果表明，Jensen-Shannon散度能够更好地控制第一类错误（Type I errors），最大限度地减少假阳性，但与Kullback-Leibler散度和总…
-
新的GAN架构SuRGe增强图像超分辨率
研究人员开发了Super-Resolution Generator (SuRGe)，这是一种新颖的生成对抗网络（GAN）架构，旨在提高图像质量。SuRGe使用可学习的权重结合不同网络深度的特征，并结合Jensen-Shannon和Gromov-Wasserstein损失来提高生成器利用信息的能力。判别器使用带梯度惩罚的Wasserstein损失进行训练，以防止模式崩溃，与现有最先进的方法相比，从而提高了性能并降低了推理时间。
-
新的IHDec方法无需微调即可保护LLM指令层级 · 跟踪2个来源
研究人员开发了IHDec，一种新颖的方法来解决大型语言模型（LLM）在多轮对话中指令层级失败的问题。与需要昂贵微调的先前解决方案不同，IHDec通过使用Jensen-Shannon散度来检测和纠正下级指令覆盖上级指令的违规行为，从而在无需训练的情况下运行。评估表明，IHDec在处理多轮冲突方面优于基于训练的方法，同时保持响应质量并增强了对抗性攻击的安全性。
-
SARA框架增强了混合专家模型中的多语言能力
研究人员推出了一种名为SARA（Semantically Anchored Routing Alignment，语义锚定路由对齐）的新框架，旨在提高混合专家（MoE）模型在低资源语言上的性能。SARA解决了低资源语言的token经常被路由到与高资源语言不同专家的问题，阻碍了跨语言知识共享。通过使用Jensen-Shannon散度约束，SARA对齐了MoE层的内部路由分布，促进了跨语言的专家选择一致性。实验表明，SARA在Qwen3-3…
-
研究论文揭示Jensen-Shannon散度估计中的不一致性
一篇新发表在arXiv上的研究论文强调了对合成表格数据估计Jensen-Shannon散度时存在显著的不一致性。研究表明，不同的估计协议可能导致不可比较的散度值，基于边缘的估计器通常会通过忽略依赖性来低估散度，而基于分类器的估计器则能捕捉联合结构，但对所用特定估计器的敏感度很高。研究人员提出了一种对基于分类器的估计进行后验校正的方法，并提供了实用的指南和一个开源工具来解决这些协议依赖性，以实现更有意义的比较。
-
研究发现：贝多芬的《月光奏鸣曲》与机器学习架构相似
一项新的研究论文探讨了贝多芬的《月光奏鸣曲》（作品27号之二）与机器学习机制之间的结构相似性。通过对乐谱进行计算分析，该研究在奏鸣曲的三个乐章中识别出了不同的机器学习架构。研究结果表明，音乐的“温度”与吞吐量而非分布宽度有关，并且在较轻的乐章中可以发现更高的不协和度。研究还强调了音级在不同乐章中如何获得不同的上下文身份，类似于自然语言处理中的嵌入，并量化了音乐和语言中编码-解码循环的“手性”。
-
大型语言模型量化天体物理学方法的可复现性
研究人员开发了一个新的信息论框架，使用大型语言模型（LLMs）作为诊断工具来评估文本描述的科学方法的重现性。通过将LLM生成的实现视为概率分布，并用香农熵和Jensen-Shannon散度测量其方差，该研究量化了书面描述在多大程度上约束了算法实现。一项关于天体物理学光谱重构的案例研究表明，虽然LLMs可以恢复核心方法，但它们难以推断精确科学校准所需的默会专家知识，这凸显了限制严格重现性的“熵底线”。
-
OpenAI 在日本测试 ChatGPT 广告，扩散模型改进代码生成
OpenAI 正在日本的 ChatGPT 中测试广告，目标是免费用户和 'Go' 套餐用户。此举旨在将 OpenAI 的盈利策略扩展到日本市场。另外，研究人员正在探索使用扩散模型生成语法正确的抽象语法树，可能将代码生成错误减少 60%。此外，一种使用 Jensen-Shannon 散度的新数学方法正在开发中，用于检测新闻叙事的变化。