Moonlight-16B-A3B-Instruct

新技术循环 Transformer 层以提升模型性能

研究人员开发了一种名为无训练循环 Transformer 的新颖技术，该技术可在无需任何额外训练或架构修改的情况下提升现有冻结语言模型的性能。该方法在推理时应用一个轻量级包装器来循环连续的层块，将其视为常微分方程近似的精炼，而不是直接更新。该方法已在不同模型系列中展示了性能提升，包括 Qwen3 和 Moonlight 等模型在 MMLU-Pro、CommonsenseQA 和 OpenBookQA 等基准测试上取得了显著的提升。