Together AI 推出了 ATLAS，一个新颖的自适应学习系统，用于推测性解码，可在无需手动调整的情况下动态提高 LLM 推理性能。与标准或自定义推测器不同，ATLAS 可持续从运行时使用和不断变化的工作负载中学习，以实时优化 token 草稿。该系统实现了显著的加速，在 DeepSeek-V3.1 上达到高达 500 TPS，在 Kimi-K2 上达到 460 TPS，甚至超越了 Groq 等专用硬件。 AI
影响 通过动态优化推测性解码来加速 LLM 推理速度并降低成本。
排序理由 LLM 新颖推理优化技术的产品发布。[lever_c_demoted from significant: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
