实体
Jet-Nemotron
Jet-Nemotron
PulseAugur coverage of Jet-Nemotron — every cluster mentioning Jet-Nemotron across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Jet-Long 方法在无需重新训练的情况下提升了 LLM 的长上下文性能
研究人员推出了一种名为 Jet-Long 的新方法，可以在无需重新训练的情况下扩展大型语言模型的上下文窗口。这种无需微调、零样本的方法可以动态调整重缩放因子，以平衡短上下文的保真度和长上下文的外插性。Jet-Long 集成了包含-排除注意力合并和即时 RoPE 校正，从而在 NVIDIA H100 等硬件上实现了最小的推理开销和更高的吞吐量。
-
新方法恢复LLM微调过程中丢失的长上下文记忆
研究人员发现，思维链（CoT）微调虽然提高了推理能力，但会显著降低混合线性注意力模型中的长上下文记忆。这个问题被称为“注意力遗忘”，会导致在“海量信息找针”（Needle-In-A-Haystack）等任务上的性能下降。一种名为QK-Restore的无训练新方法被提出，通过恢复微调前检查点的特定查询-键投影权重来解决此问题，成功恢复了长上下文能力，而没有牺牲推理性能。
-
DASH 框架将 LLM 混合注意力搜索时间大幅缩短
研究人员开发了 DASH，一个用于高效设计大型语言模型混合注意力架构的新框架。这种可微分方法显著加快了架构搜索过程，将计算成本从数十亿 token 降低到仅数百万。DASH 在某些基准测试中优于现有方法，甚至超越了 Jet-Nemotron 等模型，所有这些都在单 GPU 上数分钟内完成。