Zheng et al. reply
PulseAugur coverage of Zheng et al. reply — every cluster mentioning Zheng et al. reply across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI评估分数存在缺陷，侧重模型而非评分者
最近的一项分析强调了AI模型评估中的一个关键缺陷：评估的重点压倒性地放在模型本身的表现上，而评估工具本身的可靠性却常常被忽视。一个例子说明了这一点：在CORE-Bench上，一个模型的得分仅通过改进评分标准、任务规范和工具错误，就在模型本身没有任何改变的情况下，从42%跃升至95%。虽然像Gemini模型这样的现代LLM裁判在与人类评分者的一致性和内部一致性方面表现出高度一致，但不可靠性已转移到评估标准的敏感性和评分细则的措辞上。
-
研究发现：大型语言模型（LLM）的一致性是准确性的弱代理指标
一篇新的arXiv论文研究了使用大型语言模型（LLM）之间的一致性作为正确性代理指标的可靠性。该研究涉及53个不同的LLM运行者和265,000个样本，发现虽然一致性可以作为准确性的弱正向预测指标，但它并非独立的置信度分数。研究强调，模型可能因为共享的偏见或记忆的启发式方法而达成一致，而非事实准确性，特别是指出前沿模型表现出过度自信且存在重复性错误。研究结果表明，自我一致性是正确性的条件性指标，最好用于分配计算资源，而不是作为准确性的…
-
LLM 裁判显示出不一致性和偏见，需要新的评估方法
用作自动化评估系统中裁判的大型语言模型会表现出不一致性，导致结果不可靠。采样温度、模型版本漂移、提示模糊和决胜机制等因素都会导致这种可变性。为缓解这些问题，开发人员可以实施诸如将温度设置为零、固定特定模型版本和提示版本、对多次运行的分数取平均值以及将分数量化为更粗糙的网格等策略。此外，一个重大挑战是立场偏见，即 LLM 裁判倾向于偏爱第一个呈现的答案，这会扭曲评估指标。解决此问题需要以两种呈现顺序运行成对比较，以衡量分歧并确定偏见的程度。