实体
PaJaMa
PaJaMa
PulseAugur coverage of PaJaMa — every cluster mentioning PaJaMa across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
PAJAMA 系统使 AI 代理评估更便宜、更快
一篇新论文介绍 PAJAMA 系统，旨在使 AI 代理评估更高效、更具成本效益。PAJAMA 不再仅仅依赖昂贵的 LLM-as-a-Judge 方法，而是将裁判行为提炼成一个程序化检查委员会。这种方法显著加快了评估速度，独立的程序化裁判以一小部分成本就能达到 LLM 的准确性。该系统仅将不确定的案例升级给更大的 LLM，从而改善了准确性-吞吐量权衡，并为评估过程提供了更好的可检查性和版本控制。
-
程序蒸馏提供可扩展、透明的AI评估
研究人员开发了一种名为程序蒸馏的新方法，以创建更高效、更透明的AI评估系统。该技术将大型语言模型（LLMs）的决策逻辑提炼成一个程序委员会，然后该委员会可以直接对候选输出来评分。与传统的LLM即评委方法相比，这种方法显著降低了成本和延迟。该系统名为PAJAMA，其性能可媲美13B规模的LLM评委，并且在为训练其他模型生成奖励信号方面甚至优于专有LLM，而成本却大大降低。