nemotron-h
PulseAugur coverage of nemotron-h — every cluster mentioning nemotron-h across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
llama.cpp b11477 优化了跨模型的张量标志共享
llama.cpp 项目发布了 b11477 版本，该版本引入了跨不同模型处理张量标志的优化。此次更新将仅限 trunk 和仅限 MTP 模型的检测逻辑集中到 llama_model_base 中的一个辅助函数。此外，包括 DeepSeek4、nemotron-h、Qwen35、qwen35moe、qwen3next 和 qwen4exp 在内的多个模型现在支持仅限 trunk 文件，增强了兼容性和效率。
-
新研究揭示混合Transformer-SSM模型中的学习率迁移
一篇新研究论文探讨了混合架构的学习率（LR）缩放问题，该架构结合了Transformer和状态空间模型（SSM）模块，这些模块越来越多地用于生产语言模型中。研究发现，这些混合模型的实际实现，即使使用了简化的SSM，在各种宽度和深度下（高达十亿参数规模）也表现出接近零的学习率迁移差距。这种不变性归因于$\mu$P的初始化和学习率缩放，以及AdamW的逐参数归一化，它们共同维持了全局更新到权重的 Invariance 和局部组件的平衡。
-
新的审计方法可检测到注意力掩码所遗漏的因果关系泄露
研究人员开发了一种新的审计方法，用于检测序列模型中的因果关系违反，该方法超越了传统的注意力掩码检查。这种轻量级的审计只需两次前向传播而无需训练，即可精确地定位表示依赖于未来输入的层。研究发现，虽然注意力掩码检查遗漏了所有因果关系泄露，但他们的审计成功地识别了Zamba2和Nemotron-H等模型中的缺陷，同时确认了Bamba-9B、Falcon-H1、Granite-4.0-H、Mamba2和RecurrentGemma等其他模型是干净的。