PulseAugur
中
实时 19:03:32
实体 Triton

Triton

PulseAugur coverage of Triton — every cluster mentioning Triton across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
29
90 天内 95
发布 · 30天
0
90 天内 0
论文 · 30天
10
90 天内 39
层级分布 · 90 天
主题
关系
情绪 · 30 天

12 天有情绪数据

最近 · 第 1/5 页 · 共 98 条
  1. TOOL · CL_369303 ·

    Meta 的 TLX 增强了 Triton 用户对 GPU 的控制

    Meta 开发了 Triton 低级扩展 (TLX),旨在为工程师提供对 GPU 执行的更大控制,同时保持 Triton 编程模型。此扩展弥合了高级抽象与利用 warp specialization 和异步内存移动等现代 GPU 功能所需的低级控制之间的差距。TLX 引入了 MIMW 执行模型,平衡了 CUDA 的线程级控制与 Triton 的块级抽象,Meta 已使用它在训练和推理任务中实现了显著的性能提升。

  2. TOOL · CL_368330 ·

    新的DS3M模型通过定制GPU内核加速非线性系统辨识

    研究人员引入了深度结构化状态空间模型(DS3M),这是一种新颖的非线性系统辨识方法,可显著提高训练速度。DS3M并行和串联组合了紧凑的非线性动力学组件,并利用了用Triton实现的定制GPU内核来减少开销。与现有的SUBNET模型相比,该方法在基准测试中显示出更高的准确性和更短的训练时间。

  3. TOOL · CL_366300 ·

    新的签名核指标改进了概率时间序列预测的评估

    研究人员引入了一系列新的签名核指标,旨在更准确地评估概率时间序列预测模型,特别关注尾部事件和高实用性场景。传统的CRPS和分位数损失等指标由于关注分布的主体部分,常常对这些关键区域的错误不敏感。新指标通过折叠分布的主体部分,将评估集中在特定的关注区域,例如分布的尾部。在时间序列基础模型上的基准测试表明,整体分布的良好捕获并不总能转化为下游任务(如系统负荷预测)的高效用。为方便采用,已发布名为Efficient Signature Ke…

  4. TOOL · CL_352861 ·

    NeuroBrix 发布基于 Triton 的 49 个模型推理引擎

    NeuroBrix 发布了一款新的推理引擎,旨在运行 9 个家族的 49 个模型。该引擎采用基于 Triton 的架构和自有的张量库,摒弃了 PyTorch。它具有认证内核以提高性能,并支持 Linux、Windows 和 macOS 上的 NVIDIA、AMD、Intel 和 Apple GPU 等广泛硬件。

  5. TOOL · CL_349469 ·

    vLLM 0.33.0 要求使用 CUDA 13,采用 Model Runner V2,并提升速度

    vLLM 发布了 0.33.0 版本,引入了重大变更,需要用户注意以确保顺利升级。该版本强制要求使用 CUDA 13.0,不再支持旧版本,并需要更新驱动程序。一个主要变化是完全采用 Model Runner V2 作为默认执行引擎,集成了自动 KV 缓存大小调整和批次分片采样等功能。虽然该版本移除了对 Medusa、MLP 预测器和旧版 Ray 执行器的支持,但通过调度器优化,它也带来了显著的性能提升,在不改变底层内核的情况下,输出令…

  6. TOOL · CL_348735 ·

    新的DiRotQ方法增强了4位扩散Transformer的量化性能

    研究人员开发了DiRotQ,一种用于扩散Transformer(DiTs)的新型4位量化框架,可在保持图像生成质量的同时显著降低内存和计算成本。该方法通过主成分分析(PCA)识别低秩子空间,利用旋转感知激活量化来维持主导激活方差的更高精度。DiRotQ在PixArt模型上取得了最先进的成果,优于以往的量化技术,并在RTX 4090和采用Blackwell架构的Nvidia RTX PRO 6000等硬件上实现了显著的加速和内存缩减。

  7. TOOL · CL_347204 ·

    NeuroBrix 0.6.2 benchmark 显示 Triton 引擎优于 PyTorch

    NeuroBrix 0.6.2 系统的最新基准测试显示,其 Triton 引擎在多种模型上的表现显著优于 PyTorch 引擎。在涉及 18 种不同模型并在 Tesla V100 GPU 上运行的测试中,Triton 引擎在 36 项比较中的 30 项中速度更快,某些模型的速度提升超过 5 倍。虽然 Triton 通常更快,但在 Kokoro、Flex.1 和 Sana 4K 等少数特定模型上,PyTorch 的速度更快。

  8. TOOL · CL_347073 ·

    NeuroBrix简化了在Mac上执行AI模型和生成图像的操作

    NeuroBrix是一款新推出的开源AI工具,允许用户通过一条命令运行语言模型和生成图像。它利用Triton引擎运行,无需PyTorch,其内核设置源自证书而非机器调优。可通过pip轻松安装。

  9. TOOL · CL_346932 ·

    NeuroBrix 0.6 发布:统一的 49 个 AI 模型推理引擎

    NeuroBrix 发布了 0.6 版本,这是其首个稳定版本。这个开源项目提供了一个统一的推理引擎,能够运行九个家族中的 49 个不同 AI 模型,包括语言、视觉和语音。该系统使用 Triton 引擎及其自有的张量库 nbxtensor,无需 PyTorch,并为特定 GPU 类别优化了内核设置。

  10. TOOL · CL_345879 ·

    torch.compile 详解:Dynamo、AOT Autograd 和 Inductor

    本笔记深入探讨了 torch.compile 的复杂性,借鉴了 IBM Technology 的见解。它详细介绍了 Dynamo 如何追踪 Python 代码以捕获 FX 图并记录 guards,而 AOT Autograd 则准备图。然后,Inductor 融合算子并为 Triton/C++ 生成代码,强调在评估速度提升之前检查图中断和重新编译的重要性。

  11. RESEARCH · CL_344400 ·

    ZYFA 将 AMD MI355X FP8 FlashAttention 速度提升高达 1.99 倍

    研究人员开发了 ZYFA,这是一套用于 AMD Instinct MI355X GPU 的新型预填充注意力核函数,它利用 FP8 精度来提高速度和精度。ZYFA 采用了新颖的技术,包括简化的概率计算和优化的调度方法,以克服 FP8 矩阵指令加速和矩阵完成硬件跟踪方面的限制。这使得吞吐量相比 AMD 的原生 AITER 核函数有了显著提升,数值误差与 Composable Kernel 和 Triton 等成熟库相当。

  12. TOOL · CL_340139 ·

    Step-dLLM 通过自适应稀疏注意力提升扩散 LLM 推理速度

    研究人员开发了 Step-dLLM,一种在推理过程中提高扩散大型语言模型 (dLLM) 效率的新颖方法。与自回归模型不同,dLLM 不能使用 KV 缓存并在每一步重新计算注意力图,导致成本高昂。Step-dLLM 通过在锚点步骤自适应地刷新稀疏注意力掩码并采用头部自适应预算来优先处理注意力集中的头部来解决此问题。这种方法通过融合的 Triton 内核实现,在 LLaDA-1.5 和 Dream-7B-Instruct 等模型上实现了显…

  13. RESEARCH · CL_338962 ·

    大语言模型研究探索 GPU 内核生成和分布式计算,并讨论了 CPU 并行化的经验教训

    一个项目在其分布式计算框架中增加了对多节点张量并行化的支持,使用 NCCL 实现 CUDA 后端之间的通信。另外,一项研究工作对一个拥有 270 亿参数的模型 Qwen3.8-27B 进行了微调,以生成 Triton GPU 内核,与 PyTorch 相比,显著提高了其正确性和速度。这项工作还突显了开放权重模型与该专业领域的前沿商业产品之间仍然存在的差距。最后,关于 CPU 并行化经验教训的讨论表明,许多性能优化技术,例如管理依赖链和…

  14. TOOL · CL_332881 ·

    新的PACK3D注意力算子改进了AI模型中的3D数据处理

    研究人员引入了PACK3D,这是一种新颖的注意力算子,旨在解决将3D体积数据打包到AI模型的token序列中的挑战。传统方法面临困难,因为序列顺序会掩盖原始几何布局,导致一种失败模式,即位置嵌入学习内存布局而不是对象几何。PACK3D通过保持精确的局部邻域注意力并将远程上下文压缩到3D块摘要中,使用由真实token网格坐标索引的轴向RoPE,从而将内存布局与注意力几何分开。这种方法确保了空间可解释性,并在hiPSC显微镜等任务上展示了…

  15. TOOL · CL_325631 ·

    开发者发布了用于大型GPU工作负载的ApexW PyTorch优化器

    一位开发者创建了一个名为ApexW的新PyTorch优化器,旨在减少大型GPU工作负载的内存使用并加快优化器步骤。早期基准测试显示,ApexW的速度最高可达PyTorch的融合AdamW的1.5倍,并将优化器状态内存使用量减少一半,尤其适用于具有大型张量的模型。然而,由于Python循环开销,它在涉及许多小型张量的工作负载方面面临挑战,并且在端到端训练速度方面尚未比PyTorch的集成C++实现有显著提升。

  16. RESEARCH · CL_327006 ·

    MoE解码优化无需校准数据,加速推理

    研究人员开发了一种优化解码过程中Mixture-of-Experts (MoE)模型的新方法,无需校准数据。提出的“Prox”系统用top-k方法和权重派生读取器取代了传统的基于阈值的通道选择。该方法显著加速了MoE推理,速度提升高达2.69倍,同时准确性损失极小,并缓解了Gemma 4等模型中观察到的重复循环崩溃等问题。

  17. RESEARCH · CL_320528 ·

    美军、NASA为基地和太空任务加速核微型反应堆研发

    美国军方和NASA正在加速核微型反应堆的开发和部署,以满足偏远基地和深空探索的电力需求。尽管近期核能热潮有所降温,但联邦资金正在增加,计划到2028年在美军基地安装微型反应堆,并可能在2030年前部署到月球。Antares和Radiant等公司正引领这一进程,开发紧凑、可靠且防熔毁的反应堆,用于从军事基础设施供电到实现宏伟太空任务等各种应用。

  18. TOOL · CL_317472 ·

    行锤击攻击放大LLM推理延迟和成本

    研究人员开发了LLVMhammer,一种新颖的行锤击(Rowhammer)攻击,它针对GPU上大型语言模型(LLM)推理的延迟和成本。通过在CPU的DRAM中引发比特翻转,该攻击导致Triton JIT编译框架生成次优的GPU内核,从而导致推理延迟增加。这种4-16%的减速会转化为多GPU部署更高的运营成本。该攻击与GPU无关,并且还会损坏LLM的输出,影响BERTScore等指标。

  19. TOOL · CL_314302 ·

    优化GLM-5.3-Flash以适应单GPU,速度提升1.5倍

    一篇技术博文详细介绍了在单个96 GiB GPU上运行大型GLM-5.3-Flash模型的优化方法,实现了高达每秒16.5个token的生成速度。作者实现了一个“热点专家缓存”,将频繁使用的模型组件保留在GPU上,显著加快了token生成和提示读取的速度。这种方法结合了用于高效数据加载的专用Triton内核以及用于长提示的专家分组技术,将写入性能提高了高达1.5倍,提示读取性能提高了2.9倍,同时保持了输出质量。

  20. TOOL · CL_311777 ·

    i14的Laplace 3B线性注意力模型在AWS Trainium2上训练和部署

    i14开发了Laplace 3B,这是一种线性注意力模型,它维护一个固定大小的循环状态,不像传统的Transformer模型那样其键值缓存会随着上下文长度而增长。这项创新使得能够更有效地处理长对话或文档,使AI代理等应用受益。i14与AWS合作,将Laplace 3B适配到AWS Trainium2上,通过TorchNeuron Native为其门控线性注意力(GLA)设计和Muon优化器利用原生PyTorch支持。适配后的模型取得了…