Innu-aimun
PulseAugur coverage of Innu-aimun — every cluster mentioning Innu-aimun across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
Innu-aimun to leverage MoE for efficient LLM deployment in space
Given the recent surge in research around Mixture-of-Experts (MoE) frameworks like SPES, SPAMoE, and Space-XNet, it's plausible that Innu-aimun, a language entity, could be a candidate for deployment using these novel architectures. Specifically, Space-XNet's focus on space-based LLM deployment suggests a potential future application for Innu-aimun in resource-constrained environments.
Innu-aimun associated with Mixture-of-Experts (MoE) advancements
The recent cluster evidence shows a strong and consistent association between Innu-aimun and the development and application of Mixture-of-Experts (MoE) architectures. This includes frameworks for decentralized pretraining (SPES), specialized applications like full-waveform inversion (SPAMoE), enhancing reasoning diversity (Expert-Sample), quantum neural networks, and space-based deployments (Space-XNet). This pattern suggests Innu-aimun is a focal point or beneficiary of MoE research.
Innu-aimun research to focus on memory-efficient LLM pretraining
The emergence of the SPES framework, which enables memory-efficient decentralized LLM pretraining on fewer GPUs, indicates a growing trend in optimizing LLM training. If Innu-aimun is being considered for advanced LLM applications, it's likely that research will explore its pretraining using such memory-efficient methods to reduce computational costs and hardware requirements.
-
EchoMoE 减少 MoE 通信开销 58%,提升吞吐量
研究人员开发了一种名为 EchoMoE 的新技术,以提高大型混合专家(MoE)模型的效率。通过压缩并仅传输 Transformer 层之间隐藏状态的差异,EchoMoE 可将节点间通信量显著减少 58%,并将推理吞吐量提高 22.6%。该方法与现有的 MoE 模型兼容,只需少量训练即可应用,在各种基准测试中均显示出保持模型性能的潜力,并在带宽受限的以太网上传输吞吐量提高了 2.38 倍。
-
微调MoE模型将同款GPU上的LLM吞吐量提升4倍
一篇技术博文详细介绍了微调混合专家(MoE)模型以替代密集型大型语言模型(LLM)的过程。作者解释了他们如何测量性能、调整MoE模型,并最终将其替换到运维助手上。这次替换在利用相同GPU资源的情况下,使吞吐量增加了四倍。
-
使用TorchTitan优化在384个GH200 GPU上训练的1T MoE模型
研究人员详细介绍了他们在JUPITER超级计算机上训练一个拥有1万亿参数的混合专家(MoE)模型的过程,该过程使用了384个NVIDIA GH200 GPU。通过结合使用全分片数据并行(FSDP)和专家并行(EP),以及先进的内存优化技术,他们实现了每个GPU大约1300个token/秒的吞吐量。关键策略包括完全激活检查点、将激活卸载到Grace CPU,以及使用Muon优化器来减少内存开销和通信瓶颈。
-
华为 Kirin 9050 处理器在设备上运行 30B MoE 模型
华为的 Kirin 9050 处理器旨在直接在设备上运行一个拥有 300 亿参数的混合专家(MoE)模型。这是通过每次推理仅激活 20 亿参数,利用更新的 Da Vinci NPU 和低比特量化来实现的。这种方法代表了华为的战略转变,通过稀疏执行来强调高效的芯片设计,以克服制造限制。
-
llama.cpp 更新增强了 SYCL 后端以支持 MoE 调度
llama.cpp 项目发布了更新 b12251,对其 SYCL 后端进行了重大改进,特别是在设备端混合专家(MoE)调度方面。此次更新优化了 MoE 专家在设备上的加载和执行方式。该版本还包括对张量卸载和图执行的增强,解决了主机卸载张量和 SYCL 图检查的问题,以提高性能和稳定性。此外,还更新了一些代码注释和命名约定以提高清晰度。
-
AI研究探索高级递归自我改进技术
多篇研究论文探讨了增强AI自我改进的方法,超越了即时性能提升。一种方法,经验传递强化学习(ACE-RL),训练模型不仅执行任务,还为未来迭代整理和传递经验制品,如操作手册。另一篇论文《第三只眼》研究了在后续模型更新后,自我更新是否仍然有益,发现即时性能指标可能具有误导性,并且无更新基线对于评估至关重要。此外,InfraRSI专注于使用递归自我改进优化大型语言模型的训练基础设施,通过优化不同硬件上的启动设置和代码补丁,实现了显著的加速和…
-
新的“onóna”技术提高了 Transformer 语言模型的表达能力
研究人员推出了一种名为“onóna”的新型 Transformer 语言模型双表参数化技术,该技术在保持输入输出权重共享的同时,增强了输出的表达能力。该方法通过平均两个嵌入表并将它们的 softmax 分布与 token 条件门结合起来,在各种架构和规模上都显示出验证损失和困惑度的改进。评估表明,onóna 在 12 次比较中有 11 次降低了损失,在 12 次比较中有 10 次提高了下游任务的准确性,并且参数成本略有增加。
-
Boson AI 发布 Higgs Realtime Duplex,一个45B MoE全双工多模态模型
Boson AI 发布了 Higgs Realtime Duplex,这是一个拥有450亿参数的混合专家(MoE)模型,能够同时处理音频和视频,并进行文本生成和工具使用。该全双工系统以160毫秒的块处理信息,允许在后台进行连续工作,例如在说话时进行思考、工具委派和响应生成。该模型可以通过参考音频和图像进行零样本配置,以实现语音和面部识别,并在多个基准测试中表现出色,但它不提供开放权重。
-
发布 TensorRT-LLM 生产部署指南,面向 MoE 模型
ServerMO 发布了一份详细介绍 TensorRT-LLM 生产部署的指南,重点关注服务大型专家混合(MoE)模型的先进技术。该指南涵盖了面向 Hopper 架构的 FP8 和面向 Blackwell 架构的 NVFP4 等量化方法,以及包括张量并行、流水线并行和具有动态路由的专家并行在内的并行策略。它还通过详细介绍 NIXL KV 缓存设置和防止 TCP 静默回退的方法,以及解决 LLVM 主机内存不足错误的方法,来解决分离式服务问题。
-
Multi-View Latent MoE 通过多路由器方法增强稀疏专家模型
研究人员推出了一种新颖的方法 Multi-View Latent MoE,以增强稀疏混合专家(MoE)模型。该方法利用多个路由器来改进专家选择和计算,解决了当前 MoE 架构中专家排名可能与实际效用不匹配的局限性。通过重用路由偏好来调节专家输入,该模型旨在提高性能而不增加计算成本。
-
Nvidia RTX Spark 笔记本因加密固件导致 Linux 性能问题
Nvidia 的 RTX Spark 笔记本电脑专为 AI 开发而设计,但在运行 Linux 时,由于加密固件限制了 GPU 时钟速度,导致性能大幅下降。Windows 系统允许 GPU 达到 2 GHz 以上,而 Linux 版本将其锁定在约 780 MHz,导致在 1200 亿参数模型上的推理速度从每秒 65 个 token 急剧下降到约每秒 14 个 token。此问题源于 Nvidia 专有的平台控制器和框架,它们负责管理电源…
-
在Lean中形式化GPU内核以实现深度学习的正确性
研究人员开发了一种方法,通过在Lean证明助手(Lean proof assistant)中对并行线程执行(PTX)进行建模,来形式化验证深度学习中使用的GPU内核的正确性。该方法能够对常见的GPU内核模式进行数学推理,包括获取-释放语义(acquire-release semantics)、张量核(tensor cores)和异步操作(asynchronous operations)。该团队成功地使用此框架证明了WGMMA GEMM…
-
新的 MoEResQ 技术改进了混合专家 LLM 的 FP4 RL
研究人员发现,将 FP4 强化学习 (RL) 应用于混合专家 (MoE) 大型语言模型存在一个关键挑战。与密集模型不同,MoE 模型依赖于离散的路由机制,这使得训练和推理策略对量化恢复技术高度敏感。应用不对称恢复方法(仅在训练端进行校正)会导致对齐和准确性急剧下降。为了解决这个问题,提出了一种名为 MoEResQ 的新方法,它强制训练端和推理端的校正对称,从而恢复了对齐,并显著缩小了与全精度模型的准确性差距。
-
Prime Intellect 通过融合后向传播内核提高 MoE 训练速度
Prime Intellect 通过添加融合、重叠的后向传播,增强了 DeepSeek 的 Mega MoE 内核,使其适用于训练专家混合(MoE)模型。与现有基线相比,该新内核 Prime Mega MoE 的训练步骤速度最高可提高 34%,与 TorchTitan 相比最高可提高 55%。前向传播的性能提升更为显著,最高可达 3.11 倍,而后向传播的改进则较为温和,约为 1.24 倍。该内核支持各种 NVIDIA GPU,包括 …
-
Moore Threads 开源万亿参数 MoE 训练栈
Moore Threads 已将其 Megatron-MUSA-Titan 训练栈开源。该训练栈专为训练万亿参数的专家混合(MoE)模型而设计,并已用于多达 10,000 个 GPU 的集群上。该系统支持块状 FP8 精度等高级功能,并融入了 slime 和 miles RL 等强化学习技术。
-
开发者为开源权重 LLM 创建本地 GPU 基准测试服务器
一位开发者创建了一个本地 GPU 基准测试服务器,用于评估开源权重 LLM(特别是量化版本)在消费级硬件上的性能。该服务器配备了两张 RTX 5060 Ti 显卡,测试了从 4B 到 35B 参数的模型在各种基准测试中的表现,衡量速度和效率。结果以可排序表格的形式呈现,突出了哪些模型在具有 16GB 或 32GB VRAM 的配置上能在合理的时间内提供实际性能。
-
Blackwell 上的 MXFP8 强化学习:速度、一致性和失败模式的探讨
一篇新的研究论文探讨了在 NVIDIA Blackwell 平台上,将 MXFP8 精度用于端到端强化学习(RL)与大型语言模型(LLM)的应用。该研究使用各种框架和模型(包括 Qwen3),在 B200 GPU 上实现并测量了这种方法。研究结果表明,MXFP8 可以提高某些模型的稳定性和缩短步长和生成时间,但它可能会减慢短序列密集型工作负载的速度,并引入必须保留的权重同步特定条件,以避免静默失败。
-
V-LUMEN系统通过视觉查找记忆增强视觉语言模型
研究人员开发了V-LUMEN,一个新颖的视觉查找记忆系统,旨在增强视觉语言模型(VLMs)的能力。该系统通过离散化视觉特征并创建空间感知记忆键来解决VLMs的扩展挑战,从而在不增加模型深度或宽度的情况下高效存储和检索视觉信息。V-LUMEN在与Qwen3-VL-2B骨干模型集成后,在推理密集型基准测试中表现出显著的改进,并有望实现对新图像数据集的零样本迁移。该方法表明,外部视觉记忆为VLMs提供了一个独立的容量轴,可能通过增加存储而不…
-
LRMoE系统提高了内存受限节点上MoE模型的训练效率
研究人员开发了LRMoE,一个旨在提高稀疏专家混合(MoE)模型训练效率的新颖系统,特别是在GPU内存有限的硬件上。LRMoE通过智能地重新校准反向需求和平衡工作负载,解决了MoE模型中由不均匀路由引起瓶颈。通过对Qwen3-30B-A3B和GLM4.5-106B-A12B等模型的实验,LRMoE展示了训练时间的显著缩短,性能优于SYMI等现有方法。
-
AI开发讨论涵盖业务代理、代码移植、MoE瓶颈和缓存问题
最近在Mastodon上的一次讨论突显了AI开发和软件工程中的几个技术挑战和考虑因素。一个帖子探讨了AI代理如何成功管理一个微型企业,强调了功能分配对小型企业的效率。另一篇帖子深入探讨了将图检索库从Python移植到Java的复杂性,涉及Neo4j等工具。此外,一次对话讨论了批处理解码过程中混合专家(MoE)推理管道的性能瓶颈,并且对一个详细的拉取请求的分析揭示了AI模型调用中缓存机制的潜在问题,包括租户ID处理、失败响应的缓存以及无…