Modal 已与 Sakana AI 合作部署 Sakana Namazu，这是一个万亿参数的混合专家（MoE）模型，针对日本商业环境、网络搜索和代码执行进行了优化。此次合作的重点是克服量化如此庞大模型所带来的显著内存和质量挑战。Modal 采用了自定义量化技术，包括选择性专家量化和领域代表性校准数据，以在 NVFP4 精确度下部署到 NVIDIA Blackwell GPU 的同时，保持模型质量。此外，还训练了一个专门的推测解码模型，该模型基于 Sakana Namazu 流量的原始 token 流，从而提高了 token 接受率并降低了延迟。 AI
影响 展示了高效部署海量大模型的先进技术，为非英语市场赋能专业化模型。
排序理由 云服务提供商和 AI 实验室部署大规模专业化大模型。[lever_c_demoted from significant: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
