NVIDIA A10G
PulseAugur coverage of NVIDIA A10G — every cluster mentioning NVIDIA A10G across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Qwen3.5-4B推理通过量化和投机解码加速
研究人员为Qwen3.5-4B语言模型开发了一个高效的推理系统，在NVIDIA A10G GPU上实现了6.978倍的加速。他们的方法结合了量化目标模型和投机解码，并采用感知量化蒸馏来保持准确性。一个针对量化目标优化的专用草稿器模型经过两阶段训练以加速解码。该方法还结合了量化和滑动窗口注意力来降低开销并改善长上下文延迟，最终在Efficient Qwen竞赛中排名第三。
-
llm-d 路由层将 AWS EKS 上 Qwen 7B 的推理速度提升 2.3 倍
一个名为 llm-d 的新路由层在 LLM 推理方面取得了显著的速度提升，特别是在 AWS EKS 上使用 Qwen2.5-7B-Instruct 模型时。通过智能地将请求路由到可能已经缓存了必要前缀数据的 vLLM 副本，llm-d 将基准测试完成时间缩短了一半以上，吞吐量增加了一倍多。这种方法解决了当请求在副本之间随机分布时重复前缀计算的低效率问题，从而大大缩短了首次令牌的平均时间。
-
AWS 和 NVIDIA Parakeet-TDT 提供经济高效的多语言音频转录
NVIDIA 发布了 Parakeet-TDT-0.6B-v3，一个开源的多语言音频转录模型，能够处理 25 种欧洲语言。该模型部署在带有 GPU 实例的 AWS Batch 上，通过同时预测文本 token 和时长来实现高推理速度，从而以显著降低的成本进行转录。该解决方案架构旨在经济高效且可扩展，处理上传到 Amazon S3 的音频文件，并利用 EC2 Spot Instances 以节省更多成本。