Qwen3-Base
PulseAugur coverage of Qwen3-Base — every cluster mentioning Qwen3-Base across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的ShamAN-Q方法将大模型权重削减至亚1比特
研究人员开发了ShamAN-Q，一种新颖的亚1比特大模型训练后量化方法。该技术通过整合源自Shampoo优化器的密集曲率度量来增强NanoQuant，Shampoo优化器使用经验Fisher信息矩阵。ShamAN-Q旨在通过优化权重重建和跨层重新分配比特来提高模型效率和性能，并在Qwen3-Base模型上显示出困惑度的大幅降低。
-
新的SP3O方法缓解了LLM中PPO的价值平坦化问题
研究人员在Proximal Policy Optimization (PPO) 中发现了一种称为价值平坦化（Value Flattening）的故障模式，在这种模式下，尽管中间状态的值发生了剧烈变化，但Critic估计的状态值却变得平坦。这个问题在更大的状态空间中会加剧，并可能导致冗余更新。为了解决这个问题，提出了一种名为SParse Proximal Policy Optimization (SP$^3$O) 的新方法，该方法仅对每…
-
新框架统一策略内自蒸馏以增强LLM推理能力 · 跟踪3个来源
研究人员开发了一个统一的策略内自蒸馏（OPSD）框架，通过将特权信息整合到模型参数中来增强LLM的推理能力。这个名为统一策略内自蒸馏（USD）的新框架，通过根据学生模型的学习能力联合优化token选择和特权信息调整，解决了先前OPSD方法的局限性。另一种名为SKALD（Skill-Anchored Latent Distillation）的方法使用抽象技能卡提供密集监督，尤其是在标准奖励信息不足时，在数学基准测试上显示出显著的改进。另…
-
新的回放方法提升了 LLM 的 GRPO 训练
研究人员开发了一种新方法，用于提高 GRPO 的样本效率。GRPO 是一种用于训练大型语言模型的强化学习技术。所提出的逐轮次经验回放缓冲区存储和采样单个轮次，防止它们变得陈旧并破坏训练稳定性。该方法在 Qwen3-Base 模型在数学基准测试上的各种规模上均显示出性能提升，在 4B 规模上观察到的最大改进为 +4.35 个百分点。