SemiAnalysis报道称,一款名为“5.6-sol”的新生产内核已被开发出来,并在AI模型服务方面取得了显著的改进。据报道,该内核通过优化的推测解码,将服务成本降低了20%,并将令牌生成效率提高了15%。这些进步预计将转化为Luna和Terra等服务的价格降低,并在规模化计算成本方面节省数亿美元。 AI
影响 这种内核优化可能导致AI服务的成本大幅降低,并提高令牌生成的效率。
排序理由 该集群讨论了用于AI模型服务的新内核开发,详细介绍了性能改进和成本节省。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →