Cactus Quants
PulseAugur coverage of Cactus Quants — every cluster mentioning Cactus Quants across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
NobodyWho 和 Cactus：设备端 LLM 引擎比较
一项技术比较重点介绍了两个设备端 LLM 推理引擎 NobodyWho 和 Cactus，详细说明了它们在引擎设计、模型格式、硬件加速和许可方面的差异。NobodyWho 利用 llama.cpp 并直接支持现有的 GGUF 模型格式，提供广泛的兼容性。Cactus 采用专有的量化格式 (CQ) 和自己的引擎，针对具有特定 ARM NEON SIMD 和 Metal 支持的移动处理器进行了优化，但计划支持 NPU。虽然 NobodyW…
-
Cactus Compute 发布 Needle 2，一款面向边缘设备的 14MB 工具调用 AI 模型
Cactus Compute 推出了 Needle 2，这是一款紧凑型的 4500 万参数模型，专为工具调用和结构化数据提取而设计。该模型以其极小的占用空间而闻名，打包为 14MB 的二进制文件，运行仅需 28MB RAM，使其适用于没有专用 AI 硬件（如 GPU 或 NPU）的设备。Needle 2 实现了令人印象深刻的速度，在 Raspberry Pi 5 上每秒可处理多达 500 个 token，并在各种移动和混合现实设备上提供高效性能。
-
Cactus Compute 发布微型 4500 万参数 Needle 2 模型，适用于设备
Cactus Compute 发布了 Needle 2，这是一款紧凑型、拥有 4500 万参数的开源模型，专为工具调用、设备集成和结构化数据提取而设计。该模型体积小巧，仅需 28MB RAM，且可容纳在 14MB 的二进制文件中，使其能够运行在微控制器和各种消费类设备上。Needle 2 采用了 Simple Attention Network 架构，即使在 Raspberry Pi 5 等低功耗硬件上也能实现令人印象深刻的速度。