bias–variance tradeoff

新假说将人类智能与LLM过度参数化联系起来

一项新假说认为，人类智能与当前深度学习模型（尤其是LLM）之间的差异源于偏差-方差权衡。该提议认为，人脑通过过度参数化和在多样化数据集上进行高学习率训练来最小化偏差，从而实现高效泛化。相反，LLM被认为是为了最小化方差，从而获得强大的性能但泛化能力和记忆能力有限。这种“弹射式LLM”方法可以增强泛化能力，提高对抗鲁棒性，并为AI安全提供更稳定的基础。