MindFormers

XingChen-AGI 发布支持 256K 上下文的 29B MoE 模型，运行于 Ascend NPU

XingChen-AGI 发布了 Xing4.0-29B-A4B，一个拥有 290 亿参数、每个 token 拥有 40 亿激活参数的语言模型。该模型拥有 256K 的上下文长度，可扩展至 512K，并针对复杂的工程任务进行了优化。它采用了面向智能体的架构，支持多步规划和工具调用，并完全使用 MindSpore 框架在 Ascend NPU 平台上进行训练，实现了显著的训练效率提升。