[email protected]
PulseAugur coverage of [email protected] — every cluster mentioning [email protected] across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Strata引擎通过专家驻留优化MoE模型
Strata引擎是llama.cpp的一个分支，通过将常用专家保留在内存中，同时将不常用的专家停放在NVMe存储上，来优化混合专家（MoE）模型。这种方法旨在通过最大限度地减少加载休眠专家的需求来降低延迟并提高吞吐量。Avalon分支在相同的硬件上通过调整热集和扩展上下文长度进一步改进了这一点。性能指标的展示包含了详细的系统配置，以解释专家驻留对速度的显著影响。
-
专家混合模型可在标准硬件上运行大型语言模型
专家混合（Mixture of Experts, MoE）模型提供了一种在标准硬件上运行非常大的语言模型的方法，它只为任何给定 token 激活模型的一部分参数。与处理每个 token 的所有权重的所有传统模型不同，MoE 模型使用路由器将 token 指向专门的“专家”。只有当前查询所需的专家才会保留在内存中，从而显著减少激活的参数数量。这种方法对于专注的工作负载特别有益，例如支持收件箱，其中重复的主题会使相同的专家保持“热”和常驻…