研究人员开发了 SURGE，一个旨在提高 GPU 上文本嵌入生成效率的新系统。SURGE 通过采用流式 SuperBatch 方法解决了处理大量小数据分区的瓶颈问题，与传统的固定批次方法相比，显著降低了内存使用量并加快了首次输出时间。该系统已投入生产使用，处理了超过 8 亿条文本，在内存需求显著降低的情况下，首次输出时间快了 68 倍。 AI
影响 该系统有望提高大规模 AI 应用的嵌入生成管道的效率和可扩展性。
排序理由 该集群包含一篇 arXiv 预印本论文，详细介绍了一个新的 GPU 编码系统。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
