一项新的基准测试已被开发出来，用于评估大型语言模型（LLM）在处理常见的法语输入变体（如省略撇号、变音符号和键盘拼写错误）时的表现。研究发现，随着这些输入扰动的加剧，准确性会下降，预测可靠性指标（如 Brier 分数和负对数似然）会增加。虽然较大的模型在高度扰动的输入下通常表现出更好的准确性，但它们的概率预测并未随着规模的增大而持续改善。研究还表明，来自原始输入的校准温度可以很好地迁移到这些变化的输入上，并且将校准与输入恢复相结合可以进一步提高性能。 AI
影响 强调了 LLM 对常见语言变体鲁棒性的需求，影响多语言人工智能开发。
排序理由 该项目是一篇学术论文，详细介绍了评估 LLM 在特定语言输入变体上性能的新基准。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
