研究人员开发了一种名为 Funnel of Thoughts (FoT) 的新推理时间方法，旨在提高大型推理模型 (LRM) 的效率。该技术旨在通过分析模型轨迹中的犹豫信号（如“Wait”和“Actually”），这些信号通常表明模型正在挣扎或陷入循环，从而识别并剪除无效的轨迹，同时保持多模型轨迹的多数投票准确性，并显著降低计算成本。FoT 在无需额外模型推理或重新训练的情况下，已证明能大幅减少注意力 FLOPs 和生成时间，并且该词汇信号已在不同模型架构和任务中显示出有效性。 AI
影响 降低了大型推理模型的计算成本，可能实现更广泛、更高效的部署。
排序理由 学术论文，详细介绍了一种提高 LLM 推理效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
