Orthogonal Residual Projection

Amplitude Gating 改进 LLM 结构化输出，无需重新训练

研究人员开发了一种名为 Amplitude Gating (AG) 的新方法，可在推理过程中改进大型语言模型的结构化输出，而无需重新训练。该技术可调节前馈网络 (FFN) 中的激活幅度，保留预训练权重。AG 在工具结构化任务上显示出特别的潜力，提高了 Qwen3.5-9B 和 Qwen3-8B 等模型的性能，在函数调用和 JSON 模式任务上取得了显著的提升。