PulseAugur
中
实时 03:51:11
实体 TokenFleet

TokenFleet

PulseAugur coverage of TokenFleet — every cluster mentioning TokenFleet across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
时间线
  1. 2026-10-21 product_launch METASTONE launched TokenFleet, a scheduling framework for LLM inference. 来源
  2. 2026-10-20 product_launch Shi Technology released the TokenFleet distributed scheduling framework to optimize AI inference on GPU clusters. 来源
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_312026 ·

    METASTONE推出TokenFleet以优化LLM推理调度

    METASTONE推出了TokenFleet,这是一个旨在优化跨分布式GPU集群和数据中心的大型语言模型(LLM)推理调度的框架。该系统旨在通过降低延迟和提高吞吐量来改善性能。早期演示表明,P95首个令牌时间(time-to-first-token)和整体输出吞吐量均有显著提升。

  2. TOOL · CL_312167 ·

    是技术推出 TokenFleet 以提高 AI 推理效率

    是技术发布了 TokenFleet,一个旨在优化 AI 推理 GPU 集群利用率的分布式调度框架。该框架通过关注请求路由、跨数据中心容量协调和混合工作负载治理来提高现有计算资源的效率。关键技术包括基于缓存收益和排队成本的实例选择的 TokenPilot、跨多个数据中心协调容量的 FleetMind,以及确保满足服务水平目标的混合工作负载管理的 SLOMax。