PulseAugur
中
实时 15:32:53
实体 CUDA Graphs

CUDA Graphs

PulseAugur coverage of CUDA Graphs — every cluster mentioning CUDA Graphs across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 9
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 5
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 9 条
  1. TOOL · CL_361903 ·

    Together AI 从 megakernels 转向新的编译器以实现更快的 AI 推理

    Together AI 宣布了其新的推理优化框架 Together Compiler,旨在提高 AI 模型性能。最初,该公司开发了将整个模型前向传播融合到单个 GPU 内核中的“megakernels”,实现了高速度但难以投入生产。通过进一步的实验,Together AI 发现通过利用 CUDA Graphs 和 Torch Inductor 等现有工具,他们可以在不编写自定义内核的情况下恢复大部分 megakernel 性能,甚至通…

  2. TOOL · CL_320027 ·

    llama.cpp分支提升旧款NVIDIA GPU性能

    一位开发者创建了一个llama.cpp项目的分支,以提升旧款NVIDIA GPU的性能,特别针对Kepler架构和Ampere之前的型号。该分支引入了对CUDA Graphs和Windows NCCL集成的支持,旨在延长旧硬件的使用寿命。在Tesla K40c GPU上的初步测试显示,生成速度有显著提升,通过Windows NCCL集成可达60 tps。

  3. TOOL · CL_316407 ·

    Gradium 开源 Phonon 设备端 TTS 模型

    Gradium 发布了 Phonon,这是一个设备端文本转语音模型系列,提供 3100 万和 4000 万参数版本。仅限英语的 Phonon 31m 模型采用 Apache 2.0 许可,体积小巧,仅 64.5 MB,可以在包括 CPU、手机和浏览器在内的各种设备上本地生成语音,无需 GPU。Gradium 声称 Phonon 实现了具有竞争力的性能,其中 31m 模型在挑战性文本数据集上报告的词错误率为 1.70%,并在 CPU 上…

  4. TOOL · CL_322467 ·

    DuoLM框架通过双语言模型提升推荐速度

    研究人员推出DuoLM,一个旨在利用语言模型提高个性化推荐系统速度和效率的新框架。DuoLM采用双模型方法:一个紧凑的编码器生成可重用的物品表示,一个个性化排序器根据用户历史定制推荐。该系统通过优化的推理技术(包括虚拟令牌ID和CUDA Graphs)实现了显著的性能提升,在单个NVIDIA H100 GPU上可实现约每秒26,400个候选分数吞吐量,比传统方法快约60倍。

  5. TOOL · CL_275331 ·

    DynaFlow框架通过可编程算子调度增强机器学习并行性

    研究人员开发了DynaFlow,一个旨在提高机器学习推理和训练设备内并行性的新框架。DynaFlow将逻辑模型定义与物理执行调度解耦,允许以最小的代码更改透明地集成并行策略。这种方法旨在克服现有框架需要侵入性、模型特定大修的局限性。DynaFlow在六个最先进的ML系统中展示了高达1.29倍的吞吐量提升。

  6. TOOL · CL_215165 ·

    ShardFlow框架使用推测解码在Qwen2.5-7B上实现28 TPS

    一位开发者构建了ShardFlow,一个分布式LLM推理框架,该框架将模型分布在多台机器上,并使用推测解码来缓解WAN延迟。在Qwen2.5-7B上的基准测试显示吞吐量显著提高,使用推测解码和CUDA Graphs达到了28.10 TPS,而基线为4.92 TPS。该框架还采用了零拷贝Rust TCP中继和元设备模型切片等技术来优化性能。

  7. TOOL · CL_181100 ·

    新的WAM-Diff2框架提升了自动驾驶VLA模型的效率

    研究人员开发了WAM-Diff2,一个旨在提高自动驾驶视觉-语言-动作(VLA)模型效率的新框架。该框架采用分层蒸馏策略,将预训练的自回归模型转换为更高效的扩散模型。该过程包括渐进式块自适应、块蒸馏和模型级跨尺度蒸馏,这有助于在显著加快推理速度的同时保持原始模型的语义理解。评估表明,WAM-Diff2在性能上与自回归模型相当,并提供了显著的解码速度提升,系统级优化进一步增强了这一点。

  8. TOOL · CL_117583 ·

    HARD-KV 框架将 LLM 推理速度提升 2 倍

    研究人员开发了 HARD-KV,一个旨在优化长上下文大型语言模型 (LLM) 推理的新框架。该系统解决了头自适应压缩算法(通过动态内存预算提供准确性)与需要静态内存模式以提高效率的现代推理引擎(如 vLLM)之间的冲突。HARD-KV 引入了级联缓存 (Cascade Cache) 层级结构和逻辑校准 (Logits Calibration) 机制,以统一重要性指标并为不同模型头实现一致的预算分配。实验表明,HARD-KV 在保持超过…

  9. RESEARCH · CL_62734 ·

    研究发现AI推理延迟受内存带宽以外因素的限制

    一篇新论文揭示,物理AI系统(如机器人和自动驾驶汽车)的推理性能并非如先前假设的那样仅受内存带宽的限制。研究表明,虽然批处理为1的解码工作负载以内存为主,但更快的内存并不总是能带来成比例的延迟收益,尤其是在NVIDIA H100等高带宽GPU上。该研究确定了启动端开销和不同GPU架构上量化效率的变化是影响实际部署效率的关键因素。