Samsung A-Series

Cactus 发布 14MB 代理式 LLM Needle 2，面向边缘设备

Cactus 发布了 Needle 2，这是一款 14MB 的代理式 LLM，专为手机、可穿戴设备和机器人等资源受限的设备而设计。该紧凑型模型可在 28MB RAM 下运行，速度惊人，在 Raspberry Pi 5 上可达 500 tokens/秒，在智能手机上可达数百 tokens/秒。Needle 2 采用 Simple Attention Networks，比传统 Transformer 模型效率更高，并提供工具调用和结构化数据提取功能。