Xinglin Pan

LLM 研究聚焦于延迟感知路由和内存高效合并

两篇新研究论文探讨了优化大型语言模型 (LLM) 性能和效率的先进方法。第一篇论文介绍了一种延迟感知的查询路由系统，该系统联合考虑延迟、准确性和成本，在准确性-成本效用方面取得了高达 40% 的提升。第二篇论文“Mediator”提出了一种内存高效的 LLM 合并技术，该技术解决了参数冲突问题，并使用基于不确定性的路由，在 LLaMA 和 Qwen 模型上展示了在降低系统成本的同时显著提升性能。