研究人员开发了 AdaThink-Med,一个旨在优化医学大型语言模型在推理过程中使用的计算资源的新框架。该系统根据不确定性动态调整推理过程的长度,显著减少简单查询的 token 消耗,同时在需要时允许进行更深入的分析。AdaThink-Med 在六个医学基准测试中,在 Qwen 和 Llama 架构上,推理 token 使用量显著减少了 4.7 倍到 6.4 倍,而对性能的影响极小。 AI
影响 降低了医学 LLM 推理的计算成本,可能使其在临床环境中得到更广泛、更快速的部署。
排序理由 详细介绍 LLM 推理优化新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →