FlashInfer
PulseAugur coverage of FlashInfer — every cluster mentioning FlashInfer across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
DeepSeek V4 Flash with DSpark 相比 EAGLE 显示出显著的速度提升
一位 Reddit 用户分享了他们使用 SGLang 通过 DSpark 部署 DeepSeek V4 Flash 模型在 HGX-H200 系统上的经验。他们将 DSpark 的性能与 EAGLE 进行了比较，发现 DSpark 的速度明显更快，尤其是在更高的批次大小下。基准测试表明，DSpark 能够在每个步骤中生成更多的 token，从而在接受率略有下降的情况下实现显著的吞吐量提升。
-
PersistentKV通过新的调度技术优化商品GPU上的LLM服务
一篇新论文介绍PersistentKV，一个旨在优化长上下文大语言模型（LLM）在商品GPU上服务的系统。PersistentKV采用页感知解码调度和原生块表注意力引擎来减少KV缓存碎片并提高吞吐量。与FlashInfer等现有方法相比，该系统在某些工作负载上展示了高达1.4倍的性能提升，并将工作分配确定为LLM服务效率的关键因素。
-
MiniMax M3 集成 NVIDIA 硬件、vLLM 和 Inferact
SemiAnalysis 报道了 MiniMax AI 的 M3 模型与 NVIDIA 硬件成功集成，特别强调了 vLLM 项目和 Inferact 的 EAGLE3 规格解码。此次合作专注于实现分离式推理，并优化 MoE 内核以提高性能。MiniMax M3 模型与 DeepSeek V4 和 Kimi-K2.6 等其他先进的开放式智能体模型并列，NVIDIA Blackwell 硬件在性能上优于 NVIDIA Hopper。
-
新框架加速 NVIDIA H20 GPU 上的 LLM 推理
研究人员开发了 FlashMLA-ETAP，一个旨在显著加速 NVIDIA H20 GPU 上大型语言模型推理的新框架。该框架引入了高效转置注意力流水线 (ETAP)，重新配置注意力计算以减少冗余操作。与现有方法（如 FlashMLA）相比，在 64K 的序列长度下，这种方法实现了 2.78 倍的加速，同时还表现出卓越的数值稳定性。
-
新的 Qrita 算法提高了 LLM 采样效率
研究人员开发了 Qrita，这是一种旨在提高大型语言模型中 Top-k 和 Top-p 采样效率的新型算法。通过采用基于高斯的 sigma 截断和四元枢轴搜索，Qrita 在确保确定性输出的同时，显著减小了搜索空间和内存使用量。这种新方法已被集成到 vLLM 中作为默认采样器，与现有的高性能 LLM 执行引擎相比，服务吞吐量提高了 1.4 倍。
-
Fireworks AI 标记 LLM 训练与服务中的数值漂移问题
Fireworks AI 发现，在训练和部署大型语言模型（尤其是混合专家模型 MoE 架构）时，可能出现关键的数值奇偶校验错误。这些差异源于浮点运算的非结合性以及分布式训练与推理过程中求和顺序的不同，可能导致细微但显著的问题。这种漂移会因对数概率的改变而损害基于人类反馈的强化学习（RLHF）的完整性，并侵蚀客户对微调模型的信任。