llmff

llmff v1.1 发布：用于LLM推理管道的类FFmpeg工具

一款名为llmff的新工具，旨在像FFmpeg一样用于大型语言模型（LLM）推理，已发布1.1版本。这款可组合的管道工具允许用户通过链接不同的推理阶段（如加载、推理、检索、验证、修复和路由）来创建复杂的推理工作流。最新更新引入了对有限迭代循环、显式终止条件和详细检查功能的本地支持，使其适用于构建AI应用的精炼、重复和自我纠正循环。