Innu-aimun
PulseAugur coverage of Innu-aimun — every cluster mentioning Innu-aimun across labs, papers, and developer communities, ranked by signal.
15 天有情绪数据
Innu-aimun to leverage MoE for efficient LLM deployment in space
Given the recent surge in research around Mixture-of-Experts (MoE) frameworks like SPES, SPAMoE, and Space-XNet, it's plausible that Innu-aimun, a language entity, could be a candidate for deployment using these novel architectures. Specifically, Space-XNet's focus on space-based LLM deployment suggests a potential future application for Innu-aimun in resource-constrained environments.
Innu-aimun associated with Mixture-of-Experts (MoE) advancements
The recent cluster evidence shows a strong and consistent association between Innu-aimun and the development and application of Mixture-of-Experts (MoE) architectures. This includes frameworks for decentralized pretraining (SPES), specialized applications like full-waveform inversion (SPAMoE), enhancing reasoning diversity (Expert-Sample), quantum neural networks, and space-based deployments (Space-XNet). This pattern suggests Innu-aimun is a focal point or beneficiary of MoE research.
Innu-aimun research to focus on memory-efficient LLM pretraining
The emergence of the SPES framework, which enables memory-efficient decentralized LLM pretraining on fewer GPUs, indicates a growing trend in optimizing LLM training. If Innu-aimun is being considered for advanced LLM applications, it's likely that research will explore its pretraining using such memory-efficient methods to reduce computational costs and hardware requirements.
-
蚂蚁集团开源具身大模型视频模型LingBot-Video
蚂蚁集团开源了LingBot-Video，一个专为具身AI设计的大规模混合专家（MoE）视频基础模型。该模型优先考虑物理真实性和对现实世界物理定律的遵循，这使其区别于一般的视频生成模型。LingBot-Video在训练中整合了超过7万小时的具身中心视频数据和一个多维度奖励系统，以确保生成的内容在物理上是合理的且面向任务的。与其他的视频生成模型相比，它在RBench等基准测试中表现出了卓越的性能。
-
Tencent 发布 Hy3 MoE 模型，支持 256K 上下文窗口
Tencent 发布了 Hy3，一个 Apache 2.0 许可的混合专家（MoE）模型。该模型拥有 2950 亿总参数和 210 亿激活参数，并使用了一个 38 亿参数的 MTP 层。Hy3 支持 256K 上下文窗口，并可以使用 vLLM 或 SGLang 通过兼容 OpenAI 的 API 进行服务。还提供了一个 FP8 量化版本 Hy3-FP8，进一步降低了 VRAM 消耗。
-
用户询问 MoE 模型 KV 缓存的扩展方式
一位 Reddit 用户正在询问混合专家（MoE）模型中 KV 缓存的扩展行为。他们了解到 MoE 模型与总参数量相比，使用的计算量和内存量较少，但不确定 KV 缓存是与活动参数还是模型总参数一起扩展。
-
腾讯混元3发布，拥有2950亿参数，搜索能力媲美GPT-5.5
腾讯正式发布了混元3（Hy3），这是一款采用混合专家（MoE）架构、拥有2950亿总参数的AI模型。该模型拥有256K的上下文窗口，并声称在搜索能力上媲美GPT-5.5，同时与前代版本相比幻觉率降低了一半。腾讯将这些改进归因于增强的训练后数据质量和扩大的强化学习计算规模，并指出姚舜宇教授的加入是一个重要因素。
-
新研究揭示LLM中的安全对齐失败对网络安全的影响
研究人员对包括1万亿参数的Kimi K2在内的24个开源大型语言模型（LLM）进行了大规模实验，以研究安全对齐失败如何影响网络安全。他们发现，尤其是在参数量达万亿的混合专家（MoE）架构中，由于拒绝机制分布在许多层中，因此可以实现特定领域的安全电路的消除。该研究确定，安全训练的类型和模型架构是模型易受这种特定领域消除影响的关键预测因素，从而将模型分为三个层级。
-
Hugging Face博客探讨专家混合（MoE）Transformer
本文讨论了专家混合（MoE）Transformer，这是AI领域的一个专业方向。它引用了Hugging Face上的一篇博客文章，深入探讨了这一主题，表明它是AI开发和应用的关键领域。
-
AI 研究将重点从模型规模转向效率
近期研究表明，AI 领域正从单纯增加模型规模转向更高效的资源分配。关于 token 扩展和剪枝的专家混合（MoE）模型的研究表明，优化 AI 系统正成为企业关键的竞争优势。
-
ICML 2026 投稿量激增，关注点转向 AI 推理与安全
在首尔举行的国际机器学习大会 (ICML) 2026 收到了超过 23,000 篇论文，投稿量几乎翻倍，同时保持了 26.6% 的录用率。关键研究趋势表明，研究重点正从简单地扩展模型转向“更好思考”，更加关注 LLM 推理、AI 安全与对齐，以及通过压缩和加速技术提高模型效率。中国研究人员的引用率日益提高，并开始定义研究问题，特别是 DeepSeek 在高效模型开发和多模态 AI 方面的贡献产生了影响。
-
新的Diff-MN框架可从不规则数据生成连续时间序列
研究人员开发了Diff-MN，一个新颖的框架，用于生成连续时间序列数据，即使观测数据不规则且稀疏。该方法通过引入混合专家（MoE）动力学函数和解耦的训练架构来增强神经常微分方程（NCDE）。Diff-MN利用扩散模型来参数化NCDE的时间动力学，从而实现样本特定的参数生成和改进的泛化能力。在多个数据集上的实验表明，Diff-MN在不规则到规则以及不规则到连续时间序列生成任务上均优于现有方法。
-
现代 LLM Transformer 块通过 RMSNorm、GQA 和 MoE 演进
大型语言模型 (LLM) 中的现代 Transformer 块已超越最初的 2017 年设计，以提高训练稳定性、上下文长度、推理效率和模型容量。关键的进步包括使用 RMSNorm 进行更简单、更稳定的归一化，使用分组查询注意力 (GQA) 和旋转位置嵌入 (RoPE) 来优化注意力机制，以及在前馈网络中使用 SwiGLU 或专家混合 (MoE) 来增强表达能力和容量。这些修改解决了关键的扩展挑战，使大规模 LLM 的开发和部署更加实用。
-
Ornith 1.0 模型解释：密集型 vs MoE 以及格式/精度详情
一份指南已发布，用于解释新型 Ornith 1.0 模型的术语和概念。该指南阐明了密集型（Dense）和混合专家（Mixture of Experts, MoE）架构之间的区别，指出 MoE 模型每个 token 只激活一部分参数，这会影响计算速度但不会影响内存（RAM）需求。它还详细介绍了模型库中的两个关键变体：格式（safetensors 用于原始模型，GGUF 用于本地执行）和精度（BF16、FP8 以及各种 GGUF 量化以减…
-
Groq LPU 在 AI 推理领域崭露头角，挑战 GPU 主导地位
Groq 的语言处理单元（LPU）正在 AI 推理市场获得关注，已超越小众应用，成为 AI 基础设施中公认的组成部分。这一转变是由日益增长的对专用硬件的需求所驱动的，以满足 AI 推理，特别是 Transformer 模型的多样化计算需求。虽然 Groq 的 LPU 在速度和效率方面具有潜在优势，尤其通过其高带宽 SRAM 和编译器技术，但其成本效益以及对混合专家（MoE）等动态模型架构的适应性仍存在疑问。与 NVIDIA 平台的集成…
-
AI 模型解析：LLM、Transformer、Diffusion 等
本文解释了各种类型的 AI 模型，区分了大型语言模型 (LLM) 的密集模型和专家混合 (MoE) 模型。文章详细介绍了 Transformer 架构，该架构因其自注意力机制而成为现代 LLM 的基础。文章还涵盖了较旧的技术，如用于图像处理的 RNN/LSTM、卷积神经网络 (CNN)，以及用于生成图像和其他媒体的扩散模型。最后，文章介绍了多模态模型，这类模型可以处理文本和图像等多种类型的数据。
-
CrossPool 引擎优化稀疏 MoE LLM 的服务
研究人员推出 CrossPool，这是一种新颖的服务引擎，旨在高效管理多个稀疏专家混合（MoE）大语言模型（LLM）。该系统解决了托管大量冷模型（请求不频繁但仍消耗大量内存的模型）带来的 GPU 内存挑战。CrossPool 将模型的馈送网络（FFN）权重与其 KV 缓存分离，创建了独立的内存池。这允许跨冷模型整合 FFN 权重，并为活动请求动态分配 KV 缓存，从而提高 GPU 内存利用率并支持更长的上下文。
-
新的 RAD 方法在不进行文本分析的情况下控制 MoE 语言模型的推理
研究人员开发了一种名为 RAD（路由一致性解码）的新方法，用于控制稀疏专家混合（MoE）语言模型的推理。该技术利用 MoE 模型的内部路由状态来指导模型的响应，而不是依赖输出文本。RAD 在各种数据集（包括数学和代码生成任务）上的表现与传统方法相当，并为无法进行精确字符串匹配的任务提供了一种替代方法。
-
到2026年中，本地大语言模型将通过效率提升在家庭硬件上运行
Reddit社区r/LocalLLaMA正在讨论到2026年中期在本地运行大型语言模型的未来。参与者预计，开放权重模型将变得足够高效，可以在家庭硬件上运行。这将通过稀疏注意力、专家混合（MoE）、潜在KV压缩、多令牌预测和四位量化等技术实现，而不是要求更多的RAM。
-
新的LoMC框架增强了路由基础模型的拒绝抑制能力
研究人员开发了一个名为局部多向校正（LoMC）的新框架，以解决路由专家混合（MoE）和混合MoE基础模型中的拒绝抑制问题。LoMC旨在通过在特定模型组件内应用有针对性的校正来增强非拒绝响应，同时保持整体能力。该方法包括识别编辑支持、聚合校正方向，并在该支持内仅应用秩一逐层校正，从而在不扩大干预范围的情况下提高校正能力。在各种安全基准上的实验表明，LoMC在改善不同路由模型架构的期望行为方面是有效的。
-
Luce Spark 使 35B MoE 模型能在 16GB GPU 上运行
Luce Spark 是一个新开源系统，它使得大型 350 亿参数的专家混合（MoE）模型能在单个 16 GB GPU 上运行。它通过智能地仅将当前活跃的专家保留在 GPU 上，而其余专家则驻留在系统内存中并在需要时进行交换来实现这一点。这种方法避免了通常与卸载相关的性能损失，从而能够高效运行原本无法容纳的模型。
-
新的Dense2MoE框架优化端侧大语言模型
研究人员开发了Dense2MoE，一个统一剪枝和升级技术以创建高效的端侧大语言模型（LLMs）的新框架。该方法解决了从头开始训练MoE模型的高成本和现有升级方法的低效率问题。通过剪枝带宽密集型注意力模块并将MLP重新用作MoE专家，Dense2MoE旨在提高资源受限设备的推理效率和准确性。
-
新方法通过MoE架构高效地将LLM扩展到更多语言
研究人员开发了一种新方法，可以高效地将大型语言模型（LLM）扩展到支持更多语言，而无需进行广泛的再训练。该技术涉及将一个密集模型转换为混合专家（MoE）架构，不同的专家处理不同的语言。这种方法允许通过训练后参数增量集成新的语言能力，绕过了复杂的对齐阶段的需要，并保留了模型原始的能力。