OpenMath2

研究论文分析大型语言模型中的训练后计算

一篇新研究论文探讨了大型语言模型在训练后所做的更改如何影响其底层计算。该研究引入了一种诊断方法，以区分独立于早期模型状态的后期层更改和依赖于早期模型状态的更改。研究结果表明，虽然一些模型显示出最小的上游依赖性，但其他模型，特别是指令遵循的后代模型，则更依赖于早期计算。该研究还分离了一个与提示-响应关系相关的训练属性，展示了学习新代码来处理熟悉指令如何显著增加上游依赖性。