Prompt Lottery

新研究揭示LLM作为评委的评估对提示词改写敏感

arXiv上发表的一项新研究介绍了“提示词抽样”现象，揭示了用于评估大型语言模型的提示词即使是轻微的改写，也会导致判断结果显著不同。这种敏感性甚至可能颠覆模型之间的相对排名。研究发现，与人类标注者相比，LLM作为评委的评估在提示词改写下的不一致性高出六到九倍，低于可用性标准。为解决此问题，该研究提出使用多提示词聚合，通过关注不同提示词变体之间的一致性判断来提高评估的鲁棒性。