OLMo-2-7B-Instruct

PAJAMA 系统使 AI 代理评估更便宜、更快

一篇新论文介绍 PAJAMA 系统，旨在使 AI 代理评估更高效、更具成本效益。PAJAMA 不再仅仅依赖昂贵的 LLM-as-a-Judge 方法，而是将裁判行为提炼成一个程序化检查委员会。这种方法显著加快了评估速度，独立的程序化裁判以一小部分成本就能达到 LLM 的准确性。该系统仅将不确定的案例升级给更大的 LLM，从而改善了准确性-吞吐量权衡，并为评估过程提供了更好的可检查性和版本控制。