一篇新研究论文介绍了一种名为HeRo(History-Aware Routing)的动态路由框架,用于大型语言模型。该框架使用一种记忆机制来跨模型深度维护路由状态。这种方法将先前的路由分数聚合为紧凑的历史表示,在Llama 3.1-8B、Llama 2-7B和Llama 2-13B的基准测试中持续优于现有方法。与此同时,Amazon SageMaker Inference推出了前缀感知路由,这是一种将具有相似前缀的请求导向同一实例的策略,显著提高了KV缓存命中率并降低了Llama 3.1 70B等模型的延迟。 AI
影响 路由和缓存策略的这些进步有望显著降低LLM推理成本和延迟,从而实现更高效的部署和更广泛的大型语言模型可访问性。
排序理由 该集群包含一篇关于LLM推理优化的新研究论文以及来自云提供商的相关产品公告。
- arXiv
- Hero
- History-Aware Routing
- large-language models
- LLaMA-2 7B
- Llama 3.1-8b
- Amazon SageMaker Inference
- KV cache
- Llama 3.1 70B
- prefix-aware routing
- TensorRT-LLM
- vLLM
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →