Non-thinking model

$S^3$方法将LLM推理效率提高27%，同时提高准确性

研究人员开发了一种名为谱零空间交换（$S^3$）的新方法，以提高使用思维链（Chain-of-Thought）推理的大型语言模型（LLMs）的效率。该技术发现，核心推理能力存在于模型主导奇异方向零空间内的特定权重分量中。通过操纵这个零空间分量，$S^3$可以在不牺牲准确性的情况下，显著降低与推理相关的代币成本。在各种模型架构和推理领域的评估显示，推理代币开销平均减少了27.4%，整体任务准确性提高了1.0个百分点。