MoE models
PulseAugur coverage of MoE models — every cluster mentioning MoE models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究区分了大型语言模型中的提示适应方法
一篇新的arXiv论文探讨了不同的提示适应技术如何影响大型语言模型的内部处理。该研究区分了提示优化、提示调优和前缀调优，揭示了每种方法如何影响MoE模型中的信息流和专家路由。研究人员认为，常见的表示层面的测量可能具有误导性，更深入的理解需要区分一般的表示漂移和与任务对齐的计算变化。
-
开源 Flyweight 引擎支持在单 GPU 上使用系统 RAM 运行大型 MoE 模型
Flyweight 是一个开源的 C++/CUDA 引擎，已在 PyPI 上发布，旨在通过利用系统 RAM 来运行超出单个 GPU VRAM 容量的混合专家（MoE）模型。该引擎支持 Qwen、DeepSeek-V4 和 Gemma 等多种模型，并提供 OpenAI/Anthropic 兼容 API 和聊天 UI 等功能。开发者正在寻找贡献者来扩展硬件支持，特别是 AMD 和 macOS 系统，并优化 CPU expert kernels。
-
MoE 模型：理解双参数计数差异
混合专家（MoE）模型在参数计数方面提出了独特的挑战，因为它们拥有两个不同的计数。公开宣传的参数计数通常指的是较小的、激活的集合，而真实的、较大的总参数计数则显著更大，通常是前者的十倍以上。自托管这些模型允许用户利用完整、较大的参数计数，这对于其全部功能和性能至关重要。
-
Noesis架构通过自适应并行和跨知识库路由增强Graph-RAG · 跟踪2个来源
研究人员推出了一种新颖的Graph-RAG架构Noesis，旨在克服将大型语言模型与领域特定知识进行基础化的局限性。Noesis采用了四种关键算法：用于模拟人类阅读的双向图遍历、用于实现23倍加速的自适应扩展的AIMD并发控制器、用于提供消费级GPU上6.3倍加速的领域感知量化的Moesis，以及用于跨知识库语义路由的Mesh。该系统在HotpotQA基准测试中表现出显著的改进，达到了59.5 EM / 74.7 F1，比现有的Gra…
-
Lumabri 支持 P2P MoE 模型执行；Google Meet 新增线下会议转录功能
Lumabri 是一个新开源项目，允许用户使用 Colibri 协议在点对点网络上运行专家混合（MoE）模型。该项目由 JustVugg 开发，旨在实现 AI 模型执行的去中心化。另外，Google Meet 推出了允许转录线下会议的功能，将口头对话转化为书面笔记。
-
llama.cpp、PyTorch 和新的 MoE 模型迎来重大更新
llama.cpp 项目发布了更新，增强了 WebGPU 加速功能，并简化了 FlashAttention 的实现，以实现更高效的本地 LLM 推理。同时，PyTorch 的 MPSInductor 现在支持 Apple Metal 代码生成的无符号整数类型，提高了在 Apple Silicon 上的兼容性和性能。此外，一个名为 maple-preview 的新的开源权重混合专家模型正在 Hugging Face 上获得关注，为本地实…
-
新研究详解多模态预训练的物理学和效率方法
研究人员探索了多模态预训练的基本机制和设计空间，重点关注不同模态在统一训练过程中如何相互作用。他们的实验揭示了知识流动的见解，其中语言、视觉理解和视觉生成以不同的模式跨模态地转移知识。该研究还确定了促进模态之间协同作用的架构选择，例如共享注意力机制和具有模态特定前馈层的归一化，并证明了早期统一模态比后期对齐更有效。这些发现促成了高效的预训练方法，在显著降低计算成本的情况下实现了强大的生成性能，并通过在万亿级标记上训练大型 MoE 模型得到了验证。
-
xHC 方法将 Transformer 流扩展到 N=4 以上，以改进 LLM 预训练
研究人员推出了一种新颖的 xHC（扩展超连接）方法，用于将 Transformer 模型扩展到 N=4 流的典型限制之外。这种新方法解决了先前超连接（HC）方法中的瓶颈，例如写回信息不足和计算成本高昂的残差混合生成。通过结合时间特征增强和稀疏残差流架构，xHC 能够有效地扩展到 N=16 流，在 18B 和 28B MoE 模型上显示出显著的下游改进。此外，还提出了 xHC-Flash 以减少内存流量，使大 N 残差流扩展在 LLM …
-
为本地 LLM 推理寻求预算 GPU 建议
一位用户在 r/LocalLLaMA 子版块上寻求关于在预算有限的情况下购买硬件以运行大型语言模型的建议。他们正在考虑购买一张拥有 32GB 显存的 Radeon VII，或者两张提供总计 48GB 显存的 P100 GPU，两者价格相似。用户正在权衡更多显存和更快推理速度之间的取舍，特别是询问更高的显存对于 Q8 量化的专家混合（MoE）模型是否有用，并寻求其他合适的 MoE 模型推荐。