Ece
PulseAugur coverage of Ece — every cluster mentioning Ece across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新框架利用文本提升细粒度图像分类准确性
研究人员开发了FG-LUPI框架，该框架利用文本描述作为特权信息来改进细粒度视觉分类（FGVC）。该方法训练一个多模态教师模型，该模型整合图像块和文本属性，然后将这些知识蒸馏到一个仅图像的学生模型中。在FGVC基准上的实验表明，FG-LUPI提高了分类准确性和模型校准，实现了高效的仅图像推理。
-
LLM评判者在部署前需要仔细衡量和监督
LLM作为评分或评估的评判者是一个强大但可能不可靠的工具。在信任LLM评判者之前，至关重要的是将其性能与已知的事实真相进行衡量，以了解其误通过率、漏报率和误报率。此外，通过比较其置信度分数与其实际准确率来评估评判者的校准至关重要，因为许多模型往往过于自信。为确保一致性，必须固定特定的模型、提示和温度设置，并应监控和减轻诸如位置、冗长和自我偏好等已知偏差。最终，LLM评判者应作为初步过滤器，在关键决策中始终辅以人工监督。
-
新方法改进了具有噪声标签的AI模型校准
研究人员开发了新的方法来评估和重新校准在处理多个不可靠标签时的二元预测器，这是医学标注和众包等领域中常见的问题。提出的噪声校正ECE（NC-ECE）估计器在类别条件噪声下准确测量了期望校准误差，并对其偏差进行了推导界限。还介绍了用于估计未知噪声概率和事后重新校准的实用算法，与不考虑标签噪声的方法相比，这些算法可显著提高校准精度。
-
新的CoPoE框架解决了阿尔茨海默病诊断中的缺失数据问题
研究人员开发了CoPoE，一种新颖的多模态阿尔茨海默病诊断框架，可有效处理缺失数据。CoPoE将各种临床证据映射到一个结构化的潜在空间，该空间代表遗传风险、分子病理学、神经退行性和临床分期。通过使用仅包含可用模态的专家乘积架构，CoPoE避免了合成缺失输入，并为任何数据子集保持了稳健的后验。在ADNI数据集上的实验表明，CoPoE在全模态和子集评估中均表现出色，优于现有的融合方法，并改善了概率校准指标。
-
ECE学生和软件开发者加入Mastodon
一名ECE学生，越来越多地参与到软件开发中，已加入Mastodon。该用户，由唯一ID和昵称“hackaday”标识，全名为“Hack a Day (unofficial)”，于2025年3月14日加入该平台。这次介绍标志着从潜水到在该社交网络上积极参与的转变。
-
新研究质疑VLM置信度校准，提出新的评估指标
一篇新发表在arXiv上的研究论文《校准置信度的幻象》（The Mirage of Calibrated Confidence）揭示，视觉语言模型（VLM）通常会报告其答案的高置信度，而这与其遵循的推理过程无关。研究发现，口头置信度在很大程度上独立于模型的内部轨迹，这意味着它不能准确反映其步骤的正确性。为解决此问题，研究人员提出了一种名为轨迹基础评分（Trajectory-Grounding Score, TGS）的新评估指标，以及一…
-
新的XConf方法利用过往经验估计LLM的信心
研究人员推出了一种名为XConf的新方法，通过整合模型过往的经验来估计语言模型输出的信心。与仅考虑当前推理过程的现有方法不同，XConf利用过往任务、反思、声明的信心和结果的记录来指导其估计。这种方法在各种基准测试中表现出色，在辨别能力上优于十样本自洽性，显著降低了校准误差，同时成本效益更高。
-
新的rankECE指标为预测模型提供了改进的校准测量方法
研究人员引入了一种名为rankECE的新指标来衡量预测模型中的校准误差，解决了广泛使用的预期校准误差（ECE）的局限性。与ECE的传统分箱近似不同，后者在准确估计方面面临理论挑战，rankECE基于比较具有相似预测概率的数据点。这种新颖的方法提供了更强的理论保证和经验证据，表明它作为ECE的更优代理，增强了预测模型可靠性评估。
-
新的 CORD 适配器在事后校准中保持 top-1 预测
研究人员推出 CORD（Calibrator-Output Repair for Top-1 Decision Preservation，用于保持 top-1 决策的校准器输出修复），这是一种新颖的后拟合适配器，旨在改进机器学习模型的事后校准。CORD 确保在调整置信度分数的同时，原始的 top-1 预测保持不变。该方法修复校准后的概率向量以保持初始预测，从而通过设计实现零 Top-1 预测变化率（TPCR）。在 CIFAR-10、C…
-
新框架使大型语言模型能够对薄弱证据进行规避式事实核查
研究人员开发了一个名为证据链评估（ECE）的新框架，以提高大型语言模型在事实核查中的可靠性。ECE允许模型在证据薄弱或不一致时放弃做出决定，而不是强制进行二元真/假判断。这种选择性事实核查方法使用了一个工具使用验证代理，该代理从包括网络搜索和可执行检查在内的各种来源收集证据。在ECE-Bench数据集上进行测试时，ECE在已回答的声明上表现出高准确性，并能有效规避低可靠性证据的情况，起到安全机制的作用。
-
新的ARGTCA方法通过对属性关系进行建模来提高VLM校准 · 跟踪2个来源
研究人员开发了ARGTCA，这是一种用于提高视觉语言模型（VLM）的可靠性和置信度估计的新颖方法。该方法利用符号属性图和图注意力网络（GAT）来捕获属性间的依赖关系，解决了先前方法将属性独立处理的局限性。实验表明，ARGTCA显著降低了预期校准误差（ECE），其中一个变体在九个基准测试中的一项提高了约37%，另一项提高了17%。
-
新流水线整合学生表现预测与元认知校准
开发了一个名为UBP-CAP的新流水线，用于在智能辅导系统中整合学生表现预测和元认知校准。该框架通过三个模块处理学生行为遥测数据：用于正确性预测的LightGBM分类器、用于评估元认知对齐的校准指标，以及用于分解校准偏差的交叉广义线性混合效应模型。该研究引入了预测-解释散度指数（PEDI）来量化预测和解释特征剖面之间的结构性散度，研究结果表明学生的朴素ECE显著超过模型ECE，暗示存在系统性的校准不足。
-
研究提出MS-FBI以改进医学MLLM置信度校准 · arXiv论文
一项新近发表在arXiv上的研究，探讨了多模态大语言模型（MLLMs）在医学视觉问答（VQA）场景下的置信度校准问题。研究发现，MLLMs所表达的置信度与其真实准确率常常不相关，这在医疗环境中存在风险。为解决此问题，该研究提出了一种名为多策略融合式审问（MS-FBI）的新方法，该方法结合了审问技术和专家LLM评估。实验表明，MS-FBI可将预期校准误差（ECE）平均降低40%，从而提高MLLMs在AI辅助诊断中的可靠性。
-
提出新指标以更好地评估AI模型校准和风险
研究人员引入了新的指标来评估机器学习模型的校准，超越了传统的期望校准误差（ECE）。提出的校准尺寸比（CSR）指标旨在提供对过度自信风险更鲁棒的评估，而ECE可能会掩盖重大风险。此外，该论文还引入了置信度加权指标，如置信度加权准确率（cwA）和置信度加权AUC（cwAUC），以衡量分配的置信度在区分正确和不正确的预测方面的有效性。
-
新指标挑战AI置信度校准标准
研究人员引入了新的指标来评估AI模型置信度得分的校准情况，超越了传统的预期校准误差（ECE）。提出的校准尺寸比（CSR）和置信度加权准确率（cwA）为评估过度自信风险和置信度得分的区分能力提供了更细致的评估。这些指标在合成数据和真实世界数据集上得到了验证，结果表明标准的校准方法仍然可能产生有风险的置信度分布。