Coupled Scaling

新框架“耦合缩放”重新定义神经缩放定律

研究人员引入了耦合缩放（Coupled Scaling），一个用于理解神经缩放定律的新框架，该框架考虑了架构和优化如何影响模型可访问的表征。这种任务条件方法认为，有限预算缩放受到任务结构与系统可访问几何形状之间相互作用的影响。该框架将架构支持与有限预算获取分开，并提出独立于缩放拟合来测量几何形状的测试，通过对现有涌现轨迹的审计来识别因子测试的控制因素。