实体
Qwen3.5-MoE
Qwen3.5-MoE
PulseAugur coverage of Qwen3.5-MoE — every cluster mentioning Qwen3.5-MoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
百度发布适用于XPU硬件的vLLM昆仑插件
百度发布了vLLM昆仑，这是一个社区维护的插件，使vLLM推理引擎能够在昆仑XPU硬件上运行。该集成允许在昆仑硬件上无缝执行各种开源LLM，包括基于Transformer的模型、混合专家（MoE）模型、嵌入式模型和多模态模型。该插件支持广泛的模型和功能，如量化、LoRA微调、优化注意力机制、推测性解码和张量并行，同时还提供了一个兼容OpenAI的API用于模型服务。
-
Qwen3.5-MoE微调NEX-N2-mini在低token使用量下展现出强大的推理能力
一个Qwen3.5-MoE模型的微调版本NEX-N2-mini已发布，并展现出有希望的结果。早期测试表明，它提供的推理能力可与Qwen3.5和Qwen3.6等模型媲美甚至更优，但token使用量显著减少。这种效率可能使其成为本地运行模型的用户的宝贵选择，尤其是在Mac等设备上。
-
Fireworks AI 标记 LLM 训练与服务中的数值漂移问题
Fireworks AI 发现，在训练和部署大型语言模型（尤其是混合专家模型 MoE 架构）时，可能出现关键的数值奇偶校验错误。这些差异源于浮点运算的非结合性以及分布式训练与推理过程中求和顺序的不同，可能导致细微但显著的问题。这种漂移会因对数概率的改变而损害基于人类反馈的强化学习（RLHF）的完整性，并侵蚀客户对微调模型的信任。