Eci
PulseAugur coverage of Eci — every cluster mentioning Eci across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
METR提出AI代理控制和研发加速评估框架
METR提出了用于评估内部AI代理控制和监控的新方法论，重点关注开发人员有效阻止有害行为的能力。这些评估将调查监控覆盖范围、系统漏洞、规避策略以及人类对已标记事件的响应。此外，METR还概述了一个评估AI研发加速的框架，旨在量化AI自动化对能力进步的影响并识别潜在的未来瓶颈。
-
新的E2A-Bench基准揭示金融VLM推理失败 · 跟踪2个来源
一个名为E2A-Bench的新基准已被开发出来，用于评估金融视觉语言模型（VLM）将图表证据转化为可操作建议的可靠性。该基准包含969个源自HS300成分股的查询，评估了基础性、推理-行动一致性以及证据置信度校准。对20个VLM的初步评估显示，在维持可追溯的证据到行动的可靠性方面存在重大缺陷，这表明当前的幻觉分数不足以全面评估金融领域的VLM。
-
新“回声室效应”在图神经网络中被识别
研究人员在图神经网络（GNNs）中识别出一种新的故障模式，称为“回声室效应”，这与已知的过平滑问题不同。当社区内部的表示迅速崩溃，而社区间的区分度仍然存在时，就会发生这种效应，导致社区内部的表示无法区分。为了量化这一点，开发了一种名为回声室指数（ECI）的新指标。提出的解决方案是社区感知分裂传播（CASP），这是一个轻量级的插件，旨在分离社区内部和社区间的聚合，从而提高GNN在各种设置下的性能。
-
新的ECI方法无需训练即可对密集检索的难例负样本进行排名
研究人员开发了一种新的无需训练的方法，称为有效对比信息（ECI），用于评估密集检索系统的难例负样本来源。该技术使用冻结的嵌入来对候选负样本进行排名，绕过了微调和下游评估的需要。ECI在MS MARCO和BEIR等基准测试中表现强劲，能有效地为检索模型识别最佳负样本来源。