实体
FlipGate
FlipGate
PulseAugur coverage of FlipGate — every cluster mentioning FlipGate across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
小型LLM裁判在新评估中显示出高错误率和偏见
最近的一项分析评估了小型开源LLM裁判(特别是Qwen2.5-3B和Qwen2.5-0.5B)在法律条款识别和算术等任务上相对于确定性预言机的表现。研究发现,较小的0.5B模型在算术问题上表现出非常高的误接受率,基本上是同意而非判断。两种模型在法律条款引用方面都遇到了困难,区分度较低。此外,研究强调,仅对合成的损坏进行测试可能会高估其能力,因为自然错误被接受的比例显著更高。在纠正了测试方法中的缺陷(尤其是在成对比较中)之后,3B裁判显…
-
FlipGate 工具衡量量化 LLM 中每个答案的翻转情况
一款名为 FlipGate 的新工具已被开发出来,用于评估量化大语言模型(LLM)的每个答案的一致性,超越了传统的准确性指标。FlipGate 衡量量化模型与基线相比,将正确答案错误化的频率,从而为可接受的变异建立一个“噪声基底”。这种方法旨在识别可能被整体准确性分数掩盖的回归问题,确保生产系统的可靠性更高。