Metronome 系统约束 AI 模型缓存以实现实时交互稳定性

研究人员开发了一个名为 Metronome 的新系统，旨在改进交互式 AI 模型的实时服务。这类模型，例如 Moshi、MiniCPM-o 和 Qwen Omni，面临一个关键问题：持续负载可能导致突然的、灾难性的故障，而不是逐渐的性能下降。Metronome 通过约束每个会话的缓存大小来解决这个问题，从而提高稳定性和对系统性能的可观测性。这种约束机制可以防止 KV 缓存耗尽其容量，使在线准入控制器能够准确确定可调度的并发量并避免过度准入。 AI

影响 提高了实时交互式 AI 模型的稳定性和性能，可能支持更强大的应用程序。

排序理由 该集群包含一篇详细介绍 AI 模型服务新系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• graphics processing unit
• KV cache
• Metronome
• MiniCPM-o
• Moshi
• Qwen Omni

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →