一项新研究发布在arXiv上,调查了六种前沿语言模型正确归因不同年龄段作者答案的能力。研究人员测试了包括Claude Fable-5、Gemini-3.1 Pro和GPT-5.6 Sol在内的模型,匹配考试答案与其作者(17岁、28岁和45岁)年龄的能力。研究发现,大多数模型在此任务上遇到困难,常常自信地将最年轻作者的答案误判为成年人所写,并且表现接近或处于随机猜测水平。预测的置信度常常与准确性不相关或负相关,即使在被告知正确答案后,其中一个模型在阐述自身偏见的同时,仍然表现不佳。 AI
影响 这项研究突显了前沿语言模型中潜在的偏见及其校准不当的置信度,表明它们在细微理解和应用社会背景方面存在局限性。
排序理由 该集群基于一篇发布在arXiv上的研究论文,详细介绍了对语言模型的行为研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →