研究人员引入了CRoS,一种用于评估语言模型思维链(CoT)推理因果关系的新指标。与之前扰动推理步骤的方法不同,CRoS在不改变内容的情况下打乱了这些步骤的顺序,旨在更好地分离真正的因果关系。这种方法旨在防止结果奖励可能带来的信息量减少或自我纠正等问题。在使用Gemma 3-4B模型在Reasoning Gym上进行的评估中,CRoS在准确性、CoT质量和忠实度方面均优于现有的因果关系和结果奖励。 AI
影响 改进了对LLM推理的评估,可能带来更可靠和忠实的AI系统。
排序理由 学术论文,介绍了一种评估LLM推理的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Causality Reward on Scrambled CoTs
- CoT-Pass@K
- Gemma 3-4B
- Reasoning Gym
- Reinforcement Learning with Verifiable Rewards
- RLVR
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →