一篇新发表在arXiv上的论文对用于训练语言模型的合成儿童与成人互动数据集的发育可信度提出了质疑。研究人员将TinyDialogues数据集与自然对话进行了比较,发现尽管合成数据在词汇层面匹配,但未能捕捉到真实口语互动中零碎和混乱的本质。该研究提出使用真实对话数据进行指令微调作为潜在解决方案,并在一个试点研究中表明,一个小型模型在参数高效微调后可以近似自然数据的倾向。 AI
影响 强调了当前儿童相关AI合成数据生成方面的潜在局限性,表明需要更真实的训练数据集。
排序理由 学术论文分析用于语言模型训练的合成数据。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →