实体
MoE routing
MoE routing
PulseAugur coverage of MoE routing — every cluster mentioning MoE routing across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
推理工程：LLM 运营中隐藏的成本驱动因素
推理工程是 LLM 运营中一个关键但常被忽视的层面，通过管理量化、推测解码和 MoE 路由等因素，显著影响成本。FP8 KV 缓存和提示缓存等创新正在涌现，以优化 token 效率并降低费用。例如，一个使用 Claude Sonnet 4.6 的团队每月花费约 4,800 美元，其中模型本身占 960 美元，其余 3,840 美元归因于这一推理层。
-
LLM速度基准测试被批评误导实际性能
最近的一项分析认为，常见的LLM速度基准测试具有误导性，因为它们未能考虑到诸如负载大小、输出格式和解码约束等关键因素。这些基准测试通常只提供一个速度指标，并不能反映实际生产工作负载，因为实际工作负载在token数量和格式要求方面可能存在显著差异。作者强调，不同的模型架构针对不同的用例进行了优化，例如短输出延迟与长输出吞吐量，因此一刀切的基准测试对于为特定应用程序选择最佳模型是不准确的。