Elizabeth Bonawitz

AI的数据效率鸿沟：幼儿从数百万词汇中学习，LLM需要数万亿

现代大型语言模型（LLM）需要海量数据，消耗数万亿个token才能达到流利水平，这与儿童仅用数百万词汇就能掌握语言形成鲜明对比。这种“数据效率鸿沟”是一个重大挑战，因为目前模型有序喂养或使用视频的方法并未缩小这一差距。巨大的数据需求也导致高昂的成本，并引发了对未来优质训练数据有限供应的担忧，表明需要进行架构性改变，而不仅仅是扩大规模。