Shaohao Rui

AdaThink-Med 框架将 LLM 推理计算量最多降低 6.4 倍

研究人员开发了 AdaThink-Med，一个旨在优化医学大型语言模型在推理过程中使用的计算资源的新框架。该系统根据不确定性动态调整推理过程的长度，显著减少简单查询的 token 消耗，同时在需要时允许进行更深入的分析。AdaThink-Med 在六个医学基准测试中，在 Qwen 和 Llama 架构上，推理 token 使用量显著减少了 4.7 倍到 6.4 倍，而对性能的影响极小。