实体
RoCE v2
RoCE v2
PulseAugur coverage of RoCE v2 — every cluster mentioning RoCE v2 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
STAGE框架为分布式工作负载合成大语言模型执行图 · 跟踪2个来源
一个名为STAGE的新框架已被开发出来，用于合成大语言模型（LLMs）和专家混合模型（MoEs）的高保真执行图。该框架旨在通过建模各种并行化策略来优化分布式人工智能工作负载，从而能够在无需直接访问大规模基础设施的情况下探索不同的模型架构和系统配置。STAGE通过为超过128,000个GPU生成跟踪记录，证明了其可扩展性，并在计算、内存和通信方面保持了张量级别的准确性。
-
Modal 推出超低延迟服务器，适用于高性能应用
Modal 推出了名为 Modal Servers 的新功能，旨在为需要高性能的应用（如交互式代理的 LLM 推理）提供超低延迟服务器托管。这项新产品利用了一个由流式边缘代理、智能无状态代理和计算负载均衡器组成的路由层，该层构建在 Pingora、Envoy 和 Spanner 等技术之上。与提供类似 TCP 的内置可靠性功能的 Modal Web Functions 不同，Modal Servers 针对速度进行了优化，其运行方式更…