Decision Voting

新方法改进开放式对话中的LLM评判

研究人员开发了用于评估开放式对话场景中大型语言模型（LLM）的新方法。这些方法统称为多专家一致性风险控制（CRC），旨在通过汇总多位专家的输出来提高LLM判断的准确性和可靠性。提出的技术包括分数平均法和决策投票法，它们可以提高同质专家小组的表现。对于具有不同评分标准的异质专家小组，引入了一种称为边际校准一致性共识（MC3）的新方法，该方法能有效适应这些差异。