实体
Efa
Efa
PulseAugur coverage of Efa — every cluster mentioning Efa across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
通过量化、内存、并行和调度探索 LLM 推理效率
研究人员正在探索各种方法来提高大型语言模型 (LLM) 推理的效率和可扩展性。一种方法侧重于通过量化技术实现能源效率，在精度损失极小的情况下展示出显著的节能效果，尤其是在融合内核实现中。另一个研究领域涉及为 LLM 加装外部内存模块，以更有效地处理长上下文，提高准确性并减少内存使用。此外，研究正在调查并行策略，例如张量并行和流水线并行，以优化分布式 LLM 服务系统的吞吐量和延迟权衡。最后，正在为无服务器 LLM 推理开发新颖的调度框…
-
AWS SageMaker AI 通过新的推理建议和 G7e 实例简化生成式 AI 部署
Amazon SageMaker AI 推出了新功能，以简化生成式 AI 模型的部署。该平台现在提供优化的推理建议，利用 NVIDIA AIPerf 缩短了开发人员数周的手动基准测试过程。此外，AWS 推出了由 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 驱动的 G7e 实例，提供了更高的内存和网络吞吐量，从而实现更快、更具成本效益的大型语言模型推理。