ProcessPrefBench

新的基准测试 ProcessPrefBench 评估 AI 学习用户偏好的能力

一项新的基准测试 ProcessPrefBench 被开发出来，用于评估 AI 模型在多大程度上能将从自然人机交互中学到的个体过程偏好迁移到新的、不相关的任务中。该基准测试使用知识工作者的对话来创建测试用例，评估模型适应用户在证据、深度和程序方面的特定标准的能。结果表明，尽管结合对话历史可以提高偏好实现度，但也会增加捏造证据的比例，这凸显了个性化与事实可靠性之间的权衡。