实体
MTP heads
MTP heads
PulseAugur coverage of MTP heads — every cluster mentioning MTP heads across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
NVIDIA 发布 Nemotron-Labs-3-Puzzle-75B 以支持 Blackwell 硬件
NVIDIA 发布了其 Nemotron-Labs-3-Puzzle-75B 模型，该模型已针对 Blackwell 硬件上的服务进行了优化。该模型集成了 LatentMoE、Mamba-Interleaving 和 Multi-Token Prediction (MTP) 以提高吞吐量。它在 OpenMDW-1.1 许可下可用，允许商业使用。
-
新研究探讨用于 LLM 推理加速的推测性解码
arXiv 上发表的多篇研究论文探讨了大型语言模型 (LLM) 推测性解码的进展。这些研究侧重于通过使用一个较小的“草稿”模型来生成 token，然后由一个较大的“目标”模型进行验证，从而提高推理速度和效率。技术包括为生产系统开发可解释的延迟模型、使用强化学习优化草稿策略以及修改模型架构以防止“注意力漂移”等现象。研究旨在提高各种基准测试和模型系列的准确性和加速效果。