实体
ThunderAgent
ThunderAgent
PulseAugur coverage of ThunderAgent — every cluster mentioning ThunderAgent across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
时间线
- 2026-07-29 product_launch Together Compute released ThunderAgent, a new scheduler-level solution for AI inference that significantly improves GPU utilization and performance. 来源
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Together 的 ThunderAgent 优化 AI 推理，提高吞吐量并降低延迟 · 跟踪 9 个来源
Together 开发了 ThunderAgent，这是一个开源推理优化工具，旨在解决代理工作流中的 KV 缓存颠簸问题。当代理任务在 GPU 密集型推理和等待外部工具之间交替时，会出现此问题，导致内存使用效率低下和性能下降。ThunderAgent 通过将代理工作流视为可调度程序来解决此问题，从而实现更智能的内存管理和路由到具有可用容量的节点。据报道，该工具提供了显著的性能改进，包括单节点吞吐量提高高达 2.5 倍，在高并发下 P5…
-
ThunderAgent 提升 AI 代理的 GPU 通量，被 ICML 2026 录用
Together 开发了 ThunderAgent，这是一种调度器级别的解决方案，旨在通过缓解 KV 缓存抖动来优化代理推理的 GPU 使用率。这项创新在单节点吞吐量方面提高了 2.5 倍，在高并发下将 P50 延迟降低了十倍。ThunderAgent 已被 ICML 2026 选为 Spotlight 论文，并已被 Skyrlos 和 NVIDIA Dynamo 等项目采用，为现有的引擎配置提供即插即用集成。
-
新的“进程 Sidecar”方法允许精确撤销语言模型的记忆
研究人员推出了一种名为“进程 Sidecar”的新颖方法，用于在安全训练后撤销语言模型中的学习信息。该技术旨在精确删除特定记忆，而不会像简单的减法方法那样负面影响模型的安全能力。该方法在新的 arXiv 论文中进行了详细介绍，使用了双系数编辑家族，并与标准任务算术相比，在多个模型上显示出改进的拒绝关闭率。