LiquidAI/LFM2-2.6B-GGUF

2.6B LLM 在 iPhone 15 上离线运行，实现可靠的数据提取

一位开发者已成功在 iPhone 15 上完全离线运行了一个拥有 26 亿参数的语言模型 LFM2-2.6B。该设置利用了 llama.cpp 框架和 Metal 加速构建，使模型能够高可靠性地处理文本并提取结构化数据（如 JSON）。解决的关键挑战包括通过 GBNF 语法确保有效的 JSON 输出，管理长提示以防止应用程序崩溃，以及通过使用基于规则的提取特定数据点（如货币总额）来提高数值准确性。