A Controlled Study of Attention-Only Transformers

Cactus Compute 发布 Needle 2，一款面向边缘设备的 14MB 工具调用 AI 模型

Cactus Compute 推出了 Needle 2，这是一款紧凑型的 4500 万参数模型，专为工具调用和结构化数据提取而设计。该模型以其极小的占用空间而闻名，打包为 14MB 的二进制文件，运行仅需 28MB RAM，使其适用于没有专用 AI 硬件（如 GPU 或 NPU）的设备。Needle 2 实现了令人印象深刻的速度，在 Raspberry Pi 5 上每秒可处理多达 500 个 token，并在各种移动和混合现实设备上提供高效性能。