Angelika Romanou

新的Brittlebench框架量化大型语言模型对提示词变化的敏感性

研究人员推出Brittlebench，一个旨在量化大型语言模型（LLMs）对提示词变化敏感性的新框架和评估流程。该方法旨在解决当前静态基准测试的局限性，这些基准测试可能因未考虑实际输入变异性而高估模型性能。Brittlebench将语义保持的扰动应用于现有基准测试，显示模型性能可能下降高达12%，并在绝大多数情况下改变模型的相对排名。