GBNF
PulseAugur coverage of GBNF — every cluster mentioning GBNF across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AI代理Eris将工具选择从grep进化为嵌入
AI代理Eris的开发涉及工具选择的显著学习曲线，从简单的文本解析转向更复杂的方法。最初，Eris依赖基本的grep命令来解析模型输出以进行工具调用，但事实证明这种方法对于实际使用来说过于脆弱。后续的迭代涉及关键词列表，然后将用户消息与预先计算的工具向量进行嵌入匹配，并由一个策略层决定提供哪些工具。
-
ShapeCraft 库提供了实用的 LLM 结构化输出用例
ShapeCraft 是一个用于 LLM 结构化输出的库，它提供了超越简单数据提取的实用应用程序。通过分配类别和优先级，它可以将非结构化的支持工单转换为可操作的数据；通过定义供应商、总计和项目符号的模式，它可以解析收据和发票等复杂文档。该库还通过确保提取和验证所有必需字段来促进表单驱动的聊天机器人，并支持使用 GBNF 语法进行离线模型执行，以保证输出约束。此外，ShapeCraft 还支持具有独立重试和并发控制的文件批量处理，确保文…
-
开发者使用 GBNF 语法强制本地 AI 模型输出 JSON
一位名为 Eris 的开发者正在构建一个本地 AI 代理，他详细介绍了一种防止小型语言模型生成格式错误的 JSON 的方法。该技术涉及使用 GBNF 语法，它在根本上约束 token 的生成，确保模型无法产生无效的输出。这种方法对于缺乏 OpenAI 和 Anthropic 等云服务中强大函数调用 API 的本地模型尤其有用。
-
开发者为ShapeCraft添加GBNF语法支持，以控制本地LLM输出
一位开发者通过添加对GBNF语法的支持，增强了ShapeCraft结构化输出库，使用户能够让本地LLM生成严格遵循预定义格式的输出。此新功能通过`gbnf`模式类型实现，可防止模型产生格式错误的响应，这是本地部署中常见的问题。该实现包括一个原生的`llama.cpp`后端，可在令牌级别强制执行语法，并为OpenAI和Groq等其他后端提供尽力而为的方法，其中语法被注入到提示中，并对输出进行验证。