Karanpartap Singh

研究探讨语言模型中预训练与检索的权衡

一篇新的研究论文探讨了语言模型中预训练与检索的相互作用，研究了模型容量和预训练数据的扩展如何影响检索收益。研究发现，检索收益在很大程度上是前置的，在模型参数扩展的早期就实现了大部分改进。检索的表现收益是目标依赖的，小型模型表现出更好的困惑度，而大型模型则实现了更高的准确性。值得注意的是，从先前见过的数据中检索保留了其大部分有效性，这表明在语言模型设计中，数据在内部知识和外部访问之间进行了战略划分。