Three-State Outcome Cache

新的MS-TTRL方法解决了AI推理任务中的频率冲突

研究人员推出了一种新的测试时强化学习（TTRL）方法MS-TTRL，旨在克服生成多个有效解决方案时固有的频率冲突。这种冲突的产生是因为正确性估计偏向于频繁出现的结果，而多样性保持则偏向于不那么频繁的结果。MS-TTRL通过将正确性估计与生成频率分离来解决这个问题，使用结果级自验证来实现与频率无关的准确性。该系统包含一个三态结果缓存和置信门控逆概率缩放，以增强稀有但可验证的可靠结果的学习信号。