Hierarchic Social Entropy

新指标评估语言模型路由策略的有效性

研究人员开发了一个新的框架来评估语言模型路由策略，重点关注行为差异化和稳定性，而不仅仅是任务准确性。他们提出采用分层社会熵（HSE）来衡量代理多样性，并使用基于扰动的指标来衡量鲁棒性。将这些方法应用于 EmbedLLM 和 RouterBench，他们发现一小部分代理就可以捕捉到大部分可用多样性，并且虽然 KNN 路由器可以提高专家社会的准确性，但它们缺乏鲁棒性，这一点与提示路由不同。