Nanbeige4.2-3B 模型在 Apple Silicon 上的部署通过新策略得到修复

一篇研究论文详细介绍了 Nanbeige4.2-3B 模型（一种使用 Looped Transformer 架构的智能体模型）在 Apple Silicon 上的部署。该研究识别并修复了五个阻止模型在 Hugging Face Transformers 上正确运行的关键 Bug。此外，它还引入了一种分块预填充策略，以缓解 Looped Transformer 的层重用引起的内存使用增加问题，在 32 GiB 内存上将上下文宽度扩展了 2.7 倍。这些优化使得该模型能够在 MCPMark 基准测试中成功完成高达 30% 的智能体任务，并在 BFCL 上实现近乎完美的单工具调用。 AI

影响 Looped Transformer 架构的优化可以提高其他智能体模型的效率。

排序理由 详细介绍模型部署和优化的研究论文。[lever_c_research 降级：ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Apple Silicon
• BFCL
• Hugging Face Transformers
• Looped Transformer
• MCPMark
• Nanbeige4.2-3B
• Rope

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →