实体
Arena-Hard-v2.0
Arena-Hard-v2.0
PulseAugur coverage of Arena-Hard-v2.0 — every cluster mentioning Arena-Hard-v2.0 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的HARPO框架提高了大型语言模型的忠实度和创造力
研究人员开发了HARPO,一个旨在提高大型语言模型忠实度和创造力的新型强化学习框架。HARPO使用一个在可验证反馈上训练的具身智能生成奖励模型(HA-GRM)来评估输出。一个关键组件,选择性激活机制(SAM),确保创造性奖励仅应用于被HA-GRM判定为无幻觉的输出。实验表明,HARPO在包括Qwen2.5和Qwen3在内的各种Qwen模型上显著降低了幻觉率并提高了创意写作分数。
-
研究发现,LLM评估锚点必须避免极端值,以获得可靠排名
arXiv上的一篇新研究论文探讨了锚点选择在大型语言模型(LLM)评估中的关键作用。该研究在Arena-Hard-v2.0数据集上测试了22个不同的锚点,发现使用极端模型(表现最好或最差)作为锚点会显著降低与人类排名的相关性。研究人员认为,锚点选择的影响与裁判模型本身的选择相当。他们为选择更具信息量的锚点提供了建议,并指出当前的基准测试规模不足以可靠地评估具有竞争力的模型。