研究人员推出 AntAngelMed，一个拥有 1030 亿参数的开源医疗语言模型。它采用了专家混合（MoE）架构，每次查询仅激活 61 亿参数，从而提高了效率。这种设计使其在 H20 硬件上能够以超过每秒 200 个 token 的速度，媲美 400 亿参数密集模型的性能。该模型支持 128K 上下文长度，并经历了包括在医学语料库上预训练、监督微调和强化学习在内的三阶段训练过程。 AI
影响 为医疗应用提供了一个高效的开源 LLM，有可能加速医疗保健领域的研究和开发。
排序理由 该集群描述了一个具有详细技术规格和训练方法的新开源模型的发布。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p>MedAIBase has released AntAngelMed, a 103B-parameter open-source medical language model that uses a 1/32 activation-ratio Mixture-of-Experts (MoE) architecture to activate only 6.1B parameters at inference time, matching the performance of roughly 40B dense models while exceed…
AntAngelMed is a new 103B-parameter open-source medical language model that uses a 1/32 activation-ratio MoE architecture to activate only 6.1B parameters at inference, matching 40B dense model performance while exceeding 200 tokens per second on H20 hardware. # AIagent # AI # Ge…