Lonas

新的神经谱容量方法改进了 Transformer 架构预测

研究人员开发了残差感知神经谱容量（ResNSC），这是神经谱容量（NSC）的一项改进，旨在根据 Transformer 模型的架构规范更好地预测其性能。这种新方法考虑了累积的残差更新及其对后续层统计数据的影响，比原始 NSC 提供了更准确的预测。在包括 Llama-7B 在内的各种数据集和模型上进行的实验表明，ResNSC-DP 在可比的参数预算下可以实现更低的困惑度和更高的准确性，优于以前的分配策略。