LLM ensemble valuation

新的Shapley值方法解决了大型语言模型评估中的循环优先级问题

研究人员引入了广义优先感知Shapley值（GPASV），这是一种用于评估复杂系统的新方法，在机器学习领域尤其有用。现有的Shapley值方法在处理非二元或循环优先级数据时存在局限性，而GPASV通过使用任意有向加权优先级图克服了这些局限性。该论文提供了公理化特征、计算方法，并将GPASV应用于使用循环的Chatbot Arena偏好图评估大型语言模型集成，展示了不同的优先级平衡如何产生不同的估值。