ChatModel
PulseAugur coverage of ChatModel — every cluster mentioning ChatModel across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
使用 Docker Model Runner 和 Spring AI 在本地运行 AI 模型
使用 Java 和 Spring AI 的开发者现在可以通过 Docker Model Runner 在本地运行生成式 AI 模型，无需依赖云托管 API。这种方法具有降低开发成本、增强数据隐私和支持离线实验等优点。该集成允许应用程序利用 Spring AI 的 ChatModel 和 ChatClient 等抽象，通过 Docker Model Runner 暴露的兼容 OpenAI 的 API 与本地模型进行通信。
-
Solon AI发布用于从LLM中提取结构化数据的框架
Solon AI发布了4.0.5版本，这是一个利用大型语言模型从非结构化文本中提取结构化数据的框架。该系统通过允许开发人员将目标数据结构定义为纯Java类型，解决了模型输出装饰、模式不一致和供应商锁定等常见问题。Solon AI随后生成一个JSON模式，将其注入LLM提示，提取模型的响应，并将其反序列化为指定的Java bean，为企业数据处理提供了更健壮的解决方案。
-
LLM 客户端测试：手写模拟对象优于 Mocking 库
本文讨论了在软件开发中测试大型语言模型 (LLM) 客户端的一种策略，即创建一个手写模拟对象，而不是依赖 Mocking 库。作者认为，对于有状态的依赖项（如 LLM 客户端），这些依赖项会被反复调用并在调用之间管理状态，自定义模拟实现比通用 Mocking 框架更具可读性和可维护性。提出的 `FakeChatModel` 类允许开发人员编写特定的响应、模拟错误和管理调用历史记录，从而能够更可靠地测试重试逻辑、代理循环和令牌限制。
-
Spring AI HyDE 通过重写用户查询来增强 RAG 召回率
提出了一种名为假设文档嵌入 (HyDE) 的新方法，通过在向量查找之前将简短的用户查询转化为更全面的假设性答案来提高检索增强生成 (RAG) 的召回率。该方法使用 Spring AI 的查询转换框架实现，旨在弥合不对称查询和密集文档块之间的语义鸿沟，从而降低检索精度下降。该技术包括根据用户查询生成合成文档，然后嵌入此合成文档以查询 pgvector 或 Milvus 等向量存储，从而缓解纯余弦相似度在原始文本上的问题。
-
Spring AI 提供工具，通过可观察性和模型选择来控制 LLM 成本
Spring AI 框架提供了工具，帮助开发者管理和降低使用大型语言模型相关的成本。系列文章的初步内容侧重于可观察性和模型选择，强调了跟踪 token 使用量以识别成本驱动因素的重要性。建议开发者为常规任务使用更小、成本更低的模型，并在 Spring AI 的可观察性功能中实现自定义标签，以将成本归因于特定的应用程序组件。