PulseAugur
中
实时 20:38:54
English(EN) When Fewer Layers Break More Chains: Layer Pruning Harms Test-Time Scaling in LLMs

新研究发现层剪枝损害大语言模型的长链推理能力

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的arXiv论文揭示，层剪枝（一种优化大语言模型LLM的常用技术）会严重损害其执行长链推理的能力。虽然剪枝可能不影响一般知识任务，但它会严重降低在复杂推理基准上的性能，即使只移除少数几层也是如此。标准的微调方法不足以恢复这种丢失的推理能力，这表明需要新的剪枝策略来优先保留测试时扩展性和推理鲁棒性。 AI

影响 层剪枝技术可能需要重新评估，以避免损害大语言模型关键的推理能力。

排序理由 该集群包含一篇在arXiv上发表的研究论文，详细介绍了关于大语言模型能力的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新研究发现层剪枝损害大语言模型的长链推理能力

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Keyu Wang, Tian Lyu, Guinan Su, Lu Yin, Marco Canini, Jonas Geiping, Shiwei Liu ·

    层数越少断链越多：层剪枝损害LLM的测试时缩放能力

    arXiv:2510.22228v2 Announce Type: replace-cross Abstract: Layer pruning has emerged as a widely adopted technique for improving the efficiency of large language models (LLMs). Although existing methods demonstrate strong performance retention on general knowledge tasks, their eff…

相关实体

相关话题