4B Dory

NVIDIA的4B Dory使用循环Transformer来增强小型LLM的推理能力

研究人员正在探索在不增加体量的情况下增强小型语言模型推理能力的方法。一种技术涉及循环Transformer，它对每个token重复处理一个共享的层块。NVIDIA的4B Dory模型通过将96层通过一个20层的核心运行四次来展示这一点，保持权重不变但每次传递都会改变隐藏状态。这种方法以延迟为代价增加了计算深度。