PulseAugur
中
实时 15:10:36
实体 ThunderAgent

ThunderAgent

PulseAugur coverage of ThunderAgent — every cluster mentioning ThunderAgent across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 5
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
时间线
  1. 2026-07-29 product_launch Together Compute released ThunderAgent, a new scheduler-level solution for AI inference that significantly improves GPU utilization and performance. 来源
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 5 条
  1. TOOL · CL_346884 ·

    Together Compiler 自动优化 AI 模型以提升性能

    Together 推出了 Together Compiler,这是一款旨在自动优化 AI 模型推理内核的新工具。该系统利用代理来适应特定的模型、硬件和流量模式。早期结果表明性能有显著提升,中位数吞吐量增加了 12-20%,客户的响应时间缩短了近一半。

  2. TOOL · CL_341374 ·

    Together AI发布多态推理,实现AI模型自适应部署

    Together AI推出了一项名为多态推理(Polymorphic Inference)的新研究议程,旨在应对AI模型、架构和硬件的快速演变。这种方法与适用于不那么动态环境的传统静态推理(Static Inference)形成对比。多态推理旨在创建自适应推理系统,这些系统可以利用AI代理和持续编译(Continuous Compilation)等技术不断进行自我优化,以应对开源模型发布速度的加快和多样化的流量形态。

  3. RESEARCH · CL_171430 ·

    Together 的 ThunderAgent 优化 AI 推理,提高吞吐量并降低延迟 · 跟踪 9 个来源

    Together 开发了 ThunderAgent,这是一个开源推理优化工具,旨在解决代理工作流中的 KV 缓存颠簸问题。当代理任务在 GPU 密集型推理和等待外部工具之间交替时,会出现此问题,导致内存使用效率低下和性能下降。ThunderAgent 通过将代理工作流视为可调度程序来解决此问题,从而实现更智能的内存管理和路由到具有可用容量的节点。据报道,该工具提供了显著的性能改进,包括单节点吞吐量提高高达 2.5 倍,在高并发下 P5…

  4. RESEARCH · CL_171379 ·

    ThunderAgent 提升 AI 代理的 GPU 通量,被 ICML 2026 录用

    Together 开发了 ThunderAgent,这是一种调度器级别的解决方案,旨在通过缓解 KV 缓存抖动来优化代理推理的 GPU 使用率。这项创新在单节点吞吐量方面提高了 2.5 倍,在高并发下将 P50 延迟降低了十倍。ThunderAgent 已被 ICML 2026 选为 Spotlight 论文,并已被 Skyrlos 和 NVIDIA Dynamo 等项目采用,为现有的引擎配置提供即插即用集成。

  5. RESEARCH · CL_118821 ·

    新的“进程 Sidecar”方法允许精确撤销语言模型的记忆

    研究人员推出了一种名为“进程 Sidecar”的新颖方法,用于在安全训练后撤销语言模型中的学习信息。该技术旨在精确删除特定记忆,而不会像简单的减法方法那样负面影响模型的安全能力。该方法在新的 arXiv 论文中进行了详细介绍,使用了双系数编辑家族,并与标准任务算术相比,在多个模型上显示出改进的拒绝关闭率。