Role Conditioning

研究发现：LLM评估中的提示策略取决于评估者

一篇新发表在arXiv上的研究调查了像Chain-of-Thought和Role Conditioning这样的提示策略在多语言LLM-as-a-Judge评估中的有效性。研究发现，评估模型（judge model）的选择显著影响这些策略，其效果在不同评估者之间经常出现反转，并且在低资源语言中会下降。研究结果表明，提示策略必须针对特定的评估环境进行验证，跨研究比较应同时考虑评估者和提示的配置。