Needle 2：小巧的 4500 万参数工具调用模型可在智能手机上运行

Cactus Compute 推出了 Needle 2，这是一个紧凑型的 4500 万参数模型，专为工具调用和结构化数据提取而设计。该模型以其极小的占用空间而著称，打包为 14MB 的二进制文件，运行完整会话仅需 28MB RAM，使其适用于智能手机和可穿戴设备等资源受限的设备。Needle 2 实现了令人印象深刻的速度，在 Raspberry Pi 5 上每秒可处理多达 500 个 token，并且可以部署在包括 iOS、Android 和 WebAssembly 在内的广泛平台上。 AI

影响 在极低功耗设备上实现高级 AI 功能，将大型语言模型的应用范围扩展到传统计算平台之外。

排序理由 新实验室发布的模型，具有新颖的架构和部署特性。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 MarkTechPost 阅读 →

• A Controlled Study of Attention-Only Transformers
• Apple FM
• Apple Vision Pro
• arXiv
• Cactus Compute
• Cactus Quants
• FunctionGemma
• Meta Quest 3S
• Needle 2
• Raspberry Pi 5

• 模型发布
• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →