实体
node-llama-cpp
node-llama-cpp
PulseAugur coverage of node-llama-cpp — every cluster mentioning node-llama-cpp across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
开发者为ShapeCraft添加GBNF语法支持，以控制本地LLM输出
一位开发者通过添加对GBNF语法的支持，增强了ShapeCraft结构化输出库，使用户能够让本地LLM生成严格遵循预定义格式的输出。此新功能通过`gbnf`模式类型实现，可防止模型产生格式错误的响应，这是本地部署中常见的问题。该实现包括一个原生的`llama.cpp`后端，可在令牌级别强制执行语法，并为OpenAI和Groq等其他后端提供尽力而为的方法，其中语法被注入到提示中，并对输出进行验证。
-
Node.js 教程仓库通过本地 AI 代理教授模型上下文协议
一个新的教程仓库“MCP from Scratch”已经发布，它提供了理解模型上下文协议（MCP）的循序渐进的指南。该项目专注于使用纯 Node.js 构建 MCP 服务器，并集成本地 GGUF 模型推理。最终将实现一个利用 MCP 工具的自定义代理循环，并提供了一个可选的 LangChain 示例。