实体
Quantile Balancing
Quantile Balancing
PulseAugur coverage of Quantile Balancing — every cluster mentioning Quantile Balancing across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 ID Balancing 方法提高了稀疏 MoE LLM 训练的稳定性
研究人员推出了一种新颖的 ID Balancing 方法，用于训练极稀疏的专家混合（MoE）大语言模型（LLM）。该技术解决了专家负载不平衡的关键问题，而这个问题会阻碍模型扩展时的训练效率和稳定性。通过将现有方法视为 PID 控制器，ID Balancing 提出了一种积分-微分控制器，它能对显著的不平衡提供更强的校正，并在接近平衡时进行更精细的调整。评估表明，ID Balancing 显著降低了不平衡指标，并保持了有竞争力的性能，使…
-
Kimi K3 采用 896 个专家和混合注意力机制实现高效扩展
Kimi K3 是一个拥有 2.8 万亿参数的模型，它采用了一种新颖的方法来管理其庞大的规模，即每个 token 只激活 896 个路由专家中的 16 个。研究员苏剑林详细介绍了这一策略，旨在控制计算成本，尽管参数量和上下文长度有所增加。该模型集成了 LatentMoE 以减少专家计算和通信，并结合了 RMSNorm 和 SiTU-GLU 等机制，以在低精度训练期间保持数值稳定性。其注意力架构结合了 KDA 用于连续状态维护和 MLA…