Innu-aimun
PulseAugur coverage of Innu-aimun — every cluster mentioning Innu-aimun across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
Innu-aimun to leverage MoE for efficient LLM deployment in space
Given the recent surge in research around Mixture-of-Experts (MoE) frameworks like SPES, SPAMoE, and Space-XNet, it's plausible that Innu-aimun, a language entity, could be a candidate for deployment using these novel architectures. Specifically, Space-XNet's focus on space-based LLM deployment suggests a potential future application for Innu-aimun in resource-constrained environments.
Innu-aimun associated with Mixture-of-Experts (MoE) advancements
The recent cluster evidence shows a strong and consistent association between Innu-aimun and the development and application of Mixture-of-Experts (MoE) architectures. This includes frameworks for decentralized pretraining (SPES), specialized applications like full-waveform inversion (SPAMoE), enhancing reasoning diversity (Expert-Sample), quantum neural networks, and space-based deployments (Space-XNet). This pattern suggests Innu-aimun is a focal point or beneficiary of MoE research.
Innu-aimun research to focus on memory-efficient LLM pretraining
The emergence of the SPES framework, which enables memory-efficient decentralized LLM pretraining on fewer GPUs, indicates a growing trend in optimizing LLM training. If Innu-aimun is being considered for advanced LLM applications, it's likely that research will explore its pretraining using such memory-efficient methods to reduce computational costs and hardware requirements.
-
CodeQuant 方法通过统一的聚类和量化增强低精度 MoE 模型
研究人员开发了一种名为 CodeQuant 的新方法，用于提高低精度大模型的准确性，特别是那些使用混合专家（MoE）架构的模型。该方法统一了聚类和量化，以平滑激活离群值并将权重离群值吸收到聚类中心，从而减少量化误差。CodeQuant 还采用了专为 GPU 和 CPU 设计的专用内核，与现有量化技术相比，实现了显著的速度提升和更高的准确性。
-
ExactMoE 将 MoE 模型内存使用量减少 87%，准确性损失极小
研究人员开发了 ExactMoE，一种用于稀疏专家混合（MoE）语言模型的新型推理设计，可显著降低内存需求。通过仅对激活的专家应用四位权重量化并将它们存储在特定格式中，ExactMoE 在保持高推理吞吐量和准确性的同时，大幅减少了峰值 GPU 内存使用量。该方法允许仅存储和移动必要的专家组件，解决了大型 MoE 模型面临的关键部署挑战。
-
新的 THESIS-MoE 方法选择性地引导专家混合模型中的谄媚行为
研究人员开发了 THESIS-MoE，一种用于训练专家混合（MoE）模型以减少谄媚行为的新颖方法。谄媚是指 AI 同意用户陈述的信念的倾向。与之前统一应用干预措施的方法不同，THESIS-MoE 使用共享的对比信号来识别和针对 MoE 层级内的谄媚行为。这种方法可以在保留模型通用知识和推理能力的同时，选择性地引导谄媚行为，在评估中将由信念引起的谄媚行为减少高达 90%。
-
KTransformers 更新MoE微调；阿里巴巴下调Qwen3.6价格
KTransformers 发布了 0.7.0 版本，增强了其在专家混合（MoE）微调方面的能力。同时，阿里巴巴集团降低了其 Qwen3.6 模型的定价，使其更易于获得。这些发展凸显了AI模型领域持续的进步和市场调整。
-
Nexus模型提供与SDXL相当的高效文本到图像生成
研究人员推出了一种新颖的文本到图像生成模型Nexus，旨在提高效率。Nexus集成了稀疏架构、线性复杂度和低比特量化，结合了MoE前馈层和门控DeltaNet注意力。这种方法使Nexus在生成质量上可与SDXL和Stable Diffusion 3等成熟模型相媲美，同时显著提高了推理速度并降低了内存需求。在COCO和Laion数据集上进行的实验验证了其有效性。
-
TEMPO调度器通过考虑内存和计算约束来优化MoE服务
研究人员开发了TEMPO，一种新颖的感知时界调度器，旨在优化专家并行（EP）混合专家（MoE）模型的服务。与假设专家时间线性扩展的先前方法不同，TEMPO考虑了两种不同的约束：内存约束（HBM权重流）和计算约束（分组GEMM轮）。该系统将每个批次的调度形式化为一个固定成本时界问题，并高效地解决它以提高吞吐量并降低延迟，特别是在两种约束同时存在的情况下。
-
微信集成由其6170亿参数WeLM模型驱动的AI助手小微
微信已开始测试小微，一个直接集成到其应用程序中的AI助手。该助手由微信专有的语言模型WeLM驱动，WeLM采用了稀疏混合专家（MoE）架构进行开发。WeLM的一个6170亿参数版本每个token仅激活230亿参数，开发团队正在研究“隐藏解码”作为进一步扩展的方法。
-
300B MoE模型在32GB内存笔记本上优化
一位Reddit用户分享了在拥有32GB内存的系统上运行300B参数的混合专家（MoE）模型的发现和优化。确定的主要瓶颈是读取速度，而不是内核或计算限制。优化包括重新打包模型以进行顺序读取，在预填充期间将读取流水线化到计算后面，以及推测性地预取专家。缓存有时会因为引入额外的数据传输步骤而阻碍性能。
-
AI基础设施演进，整合存储以支持LLM推理
AI基础设施的格局正从仅关注GPU计算转向更一体化的方法，涉及计算、网络、内存和存储。这种演变是由具有长上下文和复杂推理能力的大型语言模型（LLMs）的需求驱动的，其中KV缓存和MoE专家权重等数据的有效管理变得至关重要。Moonshot AI及其Mooncake系统和NVIDIA及其CMX平台等公司正在引领这一趋势，将推理状态视为一等资源，并优化存储以实时参与token生成。
-
华为 IJCAI 2026 论文聚焦 AI 模型效率提升 · 追踪 1 个来源
华为在 IJCAI-ECAI 2026 上发表了四篇论文，将重点从扩大模型规模转向优化效率和设计。其中一篇论文详细介绍了一个分层 Vision Transformer (ViT)，该模型扩展到 300 亿参数，通过重新设计架构和训练策略，以更少的激活参数实现了高精度。另一篇论文为视频大语言模型 (Video-LLMs) 引入了一个可学习帧选择器 (LFS)，该选择器智能地选择关键帧以降低计算成本并提高视频描述准确性。第三篇论文提出 R…
-
SK Hynix、SanDisk 发布用于 AI 推理内存墙的高带宽闪存
SK Hynix 和 SanDisk 合作开发了高带宽闪存 (HBF)，这是一种旨在解决 AI 推理中内存墙挑战的新内存层。HBF 将大容量 NAND 闪存置于靠近各种 xPU（包括 GPU）的位置，以缓解数据移动造成的瓶颈。该规范在 Google 和 Tenstorrent 的参与下制定，定位在 HBM 和 SSD 之间，通过 Base Die 和主机软件管理模型权重、KV 缓存和代理工作负载等大型数据集。虽然 HBF 通过多通道并…
-
New framework personalizes federated adaptation for time-series models
研究人员开发了一种个性化的联邦稀疏适应框架，用于时间序列基础模型（TSFMs），旨在通过解决私有、分布式电表数据的非独立同分布（non-IID）性质来改进能源预测。这种新方法利用了异构时间混合专家（MoE）适配器，其中一个序列级路由器会选择一组针对特定上下文窗口量身定制的专家。在50栋建筑和三个TSFM骨干模型上的实验表明，这种个性化策略在性能上持续优于全局联邦学习和本地适应方法，突显了客户端感知和骨干模型感知的适应的重要性。
-
新的RAG方法针对移动效率和准确性 · 已追踪2个来源
两篇新的研究论文提出轻量级方法来改进检索增强生成（RAG）系统，特别适用于移动和边缘设备。第一篇论文《面向移动检索增强生成的轻量级块选择》通过对齐查询意图与检索到的块嵌入，专注于选择最相关的信息块，在排名第一的证据选择方面取得了2.5%的提升。第二篇论文《选择与提取：检索增强生成的轻量级插件》介绍了一个名为SANE的插件，它首先检索广泛的候选集，然后使用语言模型选择最相关的候选集，接着进行蓝图指导的证据提取以改进推理，所有这些都只增加…
-
新型 HMoE Transformer 推进 INR 权重空间分类
研究人员开发了一种新颖的层级专家混合 (HMoE) Transformer，用于直接在隐式神经表示 (INR) 的权重空间中进行分类任务。该方法解决了 INR 权重高维度和复杂参数结构的挑战。HMoE Transformer 利用与 INR 底层网络结构对齐的条件计算，并结合元学习框架，在包括 ImageNet-1K 在内的基准测试中取得了最先进的准确率。该研究还引入了权重空间归因和剪枝方法，以理解 INR 如何编码判别性信息，揭示了…
-
llama.cpp PR 缓存 MoE 专家以加速本地 AI 推理 · 跟踪 4 个来源
llama.cpp 的一项新拉取请求引入了一种在 GPU 上缓存常用专家混合（MoE）层的方法，通过将 Qwen3.6-35B-A3B 等模型在显存有限的消费级硬件上的推理速度最高提升 2 倍。然而，这种优化并非普遍适用，由于开销原因，在某些情况下甚至可能降低性能。同时，llama.cpp 还迎来了其他更新，包括增强了对 Intel GPU 的 SYCL 支持，改进了 iGPU 和 WebGPU F16 性能，并为聊天模型引入了工具调…
-
用户探讨从 Kimi K3 模型中提取 MoE 专家
在 r/LocalLLaMA 子版块上，一位用户正在询问从 Kimi K3 模型中提取混合专家（MoE）组件的可能性。用户提到了 REAP 作为专家提取工具，并表达了运行更大 Kimi 模型的愿望，但他们不确定其潜在效果。讨论还触及了模型中针对不同任务的专门专家（specialized experts）的潜力。
-
MoE模型可利用现有不确定性信号提高效率
一篇近期论文提出，混合专家（MoE）模型可以通过利用其路由器softmax中现有的每个token不确定性信号来提高效率。这些模型不是平均分配计算量，而是可以动态地将更多资源分配给需要更高置信度的token，而将较少资源分配给模型已经理解的token。这种方法旨在减少在模型已确定的token上浪费计算能力。
-
FedWeave 框架通过原型专业化增强联邦 LLM 学习
研究人员推出 FedWeave，一个新颖的框架，旨在通过解决客户端之间的任务异构性来改进大型语言模型 (LLM) 的联邦学习。与之前在客户端级别进行专业化的方法不同，FedWeave 专注于在原型级别进行专业化，将专家聚合与路由器优化分开。这种不对称聚合方法旨在保持专家纯度和路由器对比度，从而在异构多任务基准测试中获得更好的性能。该框架还支持使用单个活动专家进行稀疏推理，同时保持高性能。
-
Kimi K3 揭示长上下文和代理任务的架构创新
Kimi K3 发布了其技术报告，详细介绍了旨在提高大型语言模型效率和可扩展性的重大架构创新，特别是在长上下文任务和代理操作方面。该模型引入了 Kimi Delta Attention (KDA)，通过使用压缩的递归状态而非完整的 KV 缓存来管理长序列，以及用于定期检查完整上下文的 Gated Multi-Layer Attention (MLA)。Attention Residuals (AttnRes) 允许更深的网络选择性地访…
-
开发者通过社区基准测试优化 MoE 模型文件布局
一位开发者通过根据测量的共激活重新排序专家权重来优化 MoE 模型文件，将磁盘读取次数减少了 2.23 倍。在分享这项工作时，最初的两个优化方案被社区成员使用他们自己的推理引擎所驳斥。当应用于从 SSD 流式传输专家的引擎时，剩余的优化（文件重新排序）被证明是有效的，这证明了社区驱动的基准测试和优化的价值。