TinyJudge

TinyJudge 使用小型模型改进 LLM 的指令遵循能力

研究人员开发了 TinyJudge，一个旨在提高大型语言模型 (LLM) 指令遵循能力的新框架。该系统利用一组小型、专业化的语言模型来评估和奖励对复杂、通常不可验证的约束（如语气或风格）的遵守情况。通过将大型模型的专业知识提炼到这些小型模型中，TinyJudge 旨在克服当前方法相关的奖励破解和高计算成本等限制。实验表明，TinyJudge 在性能和奖励精度方面显著优于现有方法，同时还将训练时间缩短了三分之二。