实体
NVIDIA L4 GPUs
NVIDIA L4 GPUs
PulseAugur coverage of NVIDIA L4 GPUs — every cluster mentioning NVIDIA L4 GPUs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
DriftSched 通过自适应调度提高 LLM 推理效率
研究人员开发了 DriftSched，一个旨在提高大型语言模型多租户 GPU 推理效率的框架。该系统通过使用自适应偏差校正将估计误差减少 40% 以上，解决了运行时令牌漂移（实际输出长度偏离初始估计）的挑战。实验表明，最短作业优先 (SJF) 调度策略与 DriftSched 结合使用可显著降低延迟，中位数端到端延迟下降约 42%。该框架还包括一个用于运行时反馈驱动漂移补偿的机制，以及一个用于评估共享 GPU 基础设施上 QoS 感知…
-
AWS 和 NVIDIA Parakeet-TDT 提供经济高效的多语言音频转录
NVIDIA 发布了 Parakeet-TDT-0.6B-v3，一个开源的多语言音频转录模型，能够处理 25 种欧洲语言。该模型部署在带有 GPU 实例的 AWS Batch 上，通过同时预测文本 token 和时长来实现高推理速度，从而以显著降低的成本进行转录。该解决方案架构旨在经济高效且可扩展，处理上传到 Amazon S3 的音频文件，并利用 EC2 Spot Instances 以节省更多成本。