Daniel Dragonevskiy

新框架通过无套利衡量语言模型理解能力

研究人员开发了一个名为 Arbitr 的新框架，旨在通过将语言模型理解问题化为无套利问题来改进其理解能力。该方法将理解定义为有界交易者无法利用模型概率输出中的逻辑不一致性来保证获利。研究发现，包括 Qwen2.5 和 Phi-3.5 在内的标准语言模型极易受到此类利用，尤其是在参数量较小的情况下，此时置信度可能具有误导性。Arbitr 训练在不损害任务准确性的情况下，显著降低了跨各种逻辑模式的可利用性。