实体
openPangu
openPangu
PulseAugur coverage of openPangu — every cluster mentioning openPangu across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
openPangu发布支持512k上下文的openPangu-2.0-Flash MoE模型
openPangu-2.0-Flash模型是一种新的混合专家（MoE）架构，拥有920亿个总参数，激活60亿个参数。它支持512k token的上下文长度，并在34万亿token上进行了训练。关键的架构改进包括结合局部和全局上下文的高效注意力机制、用于增强表示的新型残差拓扑、用于更快推理的多token预测，以及使用Muon优化器进行训练。
-
华为开源920亿参数的openPangu-2.0-Flash模型
华为已正式开源其拥有920亿参数的openPangu-2.0-Flash模型。该公司宣布，盘古-2.0模型的相关组件将从6月30日起逐步开源。openPangu是华为的开源人工智能模型品牌。
-
OpenPangu LLM 量化在 Ascend NPU 上的研究：8 位无损，4 位导致 1B 模型性能下降
一项新研究调查了在 Ascend NPU 上部署 OpenPangu 大型语言模型时，各种训练后量化方法的有效性。研究人员发现，8 位仅权重量化对于 1B 和 7B 参数模型几乎是无损的。然而，4 位量化在 1B 模型上表现出更显著的性能下降，尤其是在推理和编码任务中，而对于 7B 模型则仍然可行。研究还强调了超低精度量化的挑战，大多数 2 位和二值化设置导致性能接近随机。