Together AI 推出了 Together Storage Accelerator (TSA),这是一个免费的分布式缓存层,旨在加速 GPU 集群的数据管道。TSA 减少了从 Amazon S3 和 Cloudflare R2 等对象存储以及 Hugging Face Hub 重复下载数据的需求。通过在集群内的 NVMe 驱动器上本地缓存数据,TSA 可以实现高达 20 倍的快速热读取,并显著降低小文件的延迟,同时还降低了数据出口成本。 AI
影响 通过减少数据加载瓶颈和相关成本来加速 AI 训练和推理。
排序理由 AI 基础设施提供商的产品发布。
- Amazon S3
- AWS
- Cloudflare R2
- graphics processing unit
- Hugging Face Hub
- NVIDIA H100
- Together AI
- Together Storage Accelerator
- TSA
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →