Cactus Compute发布了Needle 2,这是一款专为工具调用任务设计的紧凑型设备端语言模型。该模型大小为14MB,量化为CQ2位,需要固定的28MB RAM,并采用了Simple Attention Network架构。其目标是在智能手机和可穿戴设备等设备上实现高效的AI部署,在工具调用基准测试中可媲美FunctionGemma 270M等更大模型的性能。该模型已在可穿戴设备的语音助手和结构化数据提取等场景中投入生产使用。 AI
影响 使资源受限的设备上能够运行更强大的AI应用,减少特定任务对云端推理的依赖。
排序理由 这是一个专业AI工具的发布,而非来自主要实验室的前沿模型发布。
- Cactus Compute
- Cactus-Compute/needle2
- FunctionGemma
- Henry Ndubuaku
- Hugging Face
- Jakub Mróz
- Karen Mosoyan
- Needle 2
- Pebble Index Ring
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →