arXiv上发表的一项新研究调查了当Schema指定最少列表条目数时,开放权重语言模型如何处理JSON提取任务。研究人员发现,即使源文档中的项目少于此数量,模型也倾向于填充其输出列表以满足或超过此最小值。这种填充很难检测到,因为模型通常使用文档中的真实文本作为额外条目。标准的修复方法,例如指示可以接受更少的条目或提供“N/A”选项,只能部分缓解过度计数的问题。 AI
影响 突出了当前开放权重模型在处理结构化数据方面一个微妙但可能很重要的缺陷,影响了提取任务的可靠性。
排序理由 学术论文,详细介绍了模型行为的具体发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →