English(EN) [Research] 2,788 tokens/s on a single RTX 5090 with a diffusion LLM — Introducing ORL (fully open source) [R]

新的ORL方法将扩散式LLM速度提升高达6.9倍

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-16 20:03

研究人员引入了On-Policy Residual Learning (ORL)，这是一种旨在显著加速扩散式语言模型（dLLMs）而又不损害生成质量的新方法。ORL通过使dLLMs能够并行优化多个token，将先前的预测作为残差上下文向前传递并逐步优化，从而实现这一点。该方法已显示出惊人的加速效果，在单个RTX 5090上达到2,788 tokens/s，在8x B200 GPU上达到7,708 tokens/s，同时还提高了HumanEval pass@1等基准测试分数。 AI

影响加速扩散式LLM推理，可能在各种应用中实现更快、更高效的内容生成。

排序理由该集群描述了一种加速扩散式语言模型的新研究方法，包括技术细节和基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/MachineLearning 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 2 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一种加速扩散式语言模型的新研究方法，包括技术细节和基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

r/MachineLearning TIER_1 English(EN) · /u/arty_photography · 2026-10-16 20:03

[研究] 单块RTX 5090上，扩散式LLM实现2,788 tokens/s — ORL（完全开源）发布 [R]

<table> <tr><td> <a href="https://www.reddit.com/r/MachineLearning/comments/1x7qgr0/research_2788_tokenss_on_a_single_rtx_5090_with_a/"> <img alt="[Research] 2,788 tokens/s on a single RTX 5090 with a diffusion LLM — Introducing ORL (fully open source) [R]" src="https://preview.r…

本文如何被排名

报道来源 [1]

[研究] 单块RTX 5090上，扩散式LLM实现2,788 tokens/s — ORL（完全开源）发布 [R]

相关实体

相关话题