Cactus 发布了 Needle 2,这是一款紧凑型 14MB 代理 LLM,专为设备端 AI 应用而设计。该模型拥有 4500 万个参数,压缩至 2 位精度,可在智能手机、可穿戴设备和微控制器等低功耗硬件上高效运行,仅需 28MB RAM。Needle 2 在工具调用和结构化提取任务方面表现出竞争力,可与更大的模型相媲美,同时消耗的功耗和内存却显著减少。该模型在 Apache 2.0 许可下开源,权重可在 Hugging Face 上获取,并提供无依赖的 C++ 引擎以便于部署。 AI
影响 使资源受限设备上的高级 AI 功能成为可能,有可能将 AI 的应用范围扩展到物联网和可穿戴设备。
排序理由 发布专用的、占地面积小的边缘设备 LLM。
在 Hacker News — AI stories ≥50 points 阅读 →
- Apple Foundation Model
- Apple Vision Pro
- Cactus
- LFM2.5 230M
- Meta Quest 3S
- Needle 2
- Raspberry Pi 5
- Samsung A-Series
- Mastodon
- Apache 2.0
- Apple FM
- ESP32-S3
- FunctionGemma 270M
- Hugging Face
- Simple Attention Network
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →