TinyDialogues

研究质疑合成儿童与成人对话数据的发育可信度

一篇新发表在arXiv上的论文对用于训练语言模型的合成儿童与成人互动数据集的发育可信度提出了质疑。研究人员将TinyDialogues数据集与自然对话进行了比较，发现尽管合成数据在词汇层面匹配，但未能捕捉到真实口语互动中零碎和混乱的本质。该研究提出使用真实对话数据进行指令微调作为潜在解决方案，并在一个试点研究中表明，一个小型模型在参数高效微调后可以近似自然数据的倾向。