实体
time per output token
time per output token
PulseAugur coverage of time per output token — every cluster mentioning time per output token across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 UBEP 库大幅降低超级节点上 MoE 模型延迟 · 跟踪 2 个来源
研究人员开发了 UBEP（统一总线专家并行），这是一个新的通信库，旨在优化大规模超级节点上的混合专家（MoE）模型。UBEP 解决了 MoE 通信中的关键瓶颈，包括执行序列化、同步开销和负载不平衡，这些在 NVIDIA 的 NVL72/576 和华为的 CloudMatrix384 等系统中普遍存在。实验表明，UBEP 可将 All-to-All 延迟最多降低 52.4%，并将 MoE 推理每输出令牌时间（TPOT）最多提高 11.1%。
-
新的级联框架以最小的准确性损失优化LLM服务成本
一篇新的研究论文介绍了一个两阶段的级联框架，旨在优化生产环境中大型语言模型（LLM）服务的成本。该系统首先对传入的查询进行聚类，以将其路由到成本效益最高的模型。第二阶段包含一个质量评估级联，仅当初始响应被认为质量较低时，才将查询升级到更强大、更昂贵的模型。这种方法旨在保持高准确性，同时显著降低每个输出令牌的时间和总体运营成本。