FunctionGemma
PulseAugur coverage of FunctionGemma — every cluster mentioning FunctionGemma across labs, papers, and developer communities, ranked by signal.
-
Cactus Compute发布14MB的Needle 2模型，用于设备端工具调用
Cactus Compute发布了Needle 2，这是一款专为工具调用任务设计的紧凑型设备端语言模型。该模型大小为14MB，量化为CQ2位，需要固定的28MB RAM，并采用了Simple Attention Network架构。其目标是在智能手机和可穿戴设备等设备上实现高效的AI部署，在工具调用基准测试中可媲美FunctionGemma 270M等更大模型的性能。该模型已在可穿戴设备的语音助手和结构化数据提取等场景中投入生产使用。
-
Cactus Compute 发布 Needle 2，一款面向边缘设备的 14MB 工具调用 AI 模型
Cactus Compute 推出了 Needle 2，这是一款紧凑型的 4500 万参数模型，专为工具调用和结构化数据提取而设计。该模型以其极小的占用空间而闻名，打包为 14MB 的二进制文件，运行仅需 28MB RAM，使其适用于没有专用 AI 硬件（如 GPU 或 NPU）的设备。Needle 2 实现了令人印象深刻的速度，在 Raspberry Pi 5 上每秒可处理多达 500 个 token，并在各种移动和混合现实设备上提供高效性能。
-
Cactus Compute 发布微型 4500 万参数 Needle 2 模型，适用于设备
Cactus Compute 发布了 Needle 2，这是一款紧凑型、拥有 4500 万参数的开源模型，专为工具调用、设备集成和结构化数据提取而设计。该模型体积小巧，仅需 28MB RAM，且可容纳在 14MB 的二进制文件中，使其能够运行在微控制器和各种消费类设备上。Needle 2 采用了 Simple Attention Network 架构，即使在 Raspberry Pi 5 等低功耗硬件上也能实现令人印象深刻的速度。
-
用户询问使用6GB显存微调AI模型
一位Reddit r/LocalLLaMA板块的用户正在询问使用有限的6GB显存训练或微调AI模型的能力。他们希望了解在此硬件限制下可以实现何种程度的模型定制，并特别提到了FunctionGemma等模型以及对传感器读数做出反应等用例。虽然承认可以通过Vast.ai等服务租用更多显存的选项，但核心问题围绕着最大化现有6GB硬件的潜力。