Nur A Zarin Nishat

小型语言模型展示出有限的可迁移抽象推理能力

一项发表在arXiv上的新研究调查了小型语言模型的抽象推理能力，特别考察了decoder-only、encoder-decoder和mixture-of-experts架构。研究利用ARC-TGI基准来分析这些模型如何习得可迁移规则，而非拟合训练数据的特异性。研究结果表明，虽然可以实现相当大的in-distribution准确率，但模型的性能高度依赖于优化、训练数据广度和评估分布，在训练集之外通常会急剧下降。