Henry Ndubuaku

Cactus Compute发布14MB的Needle 2模型，用于设备端工具调用

Cactus Compute发布了Needle 2，这是一款专为工具调用任务设计的紧凑型设备端语言模型。该模型大小为14MB，量化为CQ2位，需要固定的28MB RAM，并采用了Simple Attention Network架构。其目标是在智能手机和可穿戴设备等设备上实现高效的AI部署，在工具调用基准测试中可媲美FunctionGemma 270M等更大模型的性能。该模型已在可穿戴设备的语音助手和结构化数据提取等场景中投入生产使用。