Stack & Craft
PulseAugur coverage of Stack & Craft — every cluster mentioning Stack & Craft across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
评估 RAG 系统：将证据与答案分开
本文概述了一种通过分离检索到的证据和生成的答案的评估方法来评估检索增强生成（RAG）系统的方法。它强调了创建包含预期证据、无法回答的问题和对抗性案例的全面评估集的重要性。该指南详细介绍了如何计算检索指标，如 Recall@k 和平均倒数排名，并强调成功的检索只是正确和有支持的答案的先决条件，而不是保证。最后，它建议仔细记录、避免评估泄露，并根据产品风险设定发布要求。
-
调试 RAG：追踪证据失败的分步指南
本文提供了一种结构化的方法来调试检索增强生成 (RAG) 系统中的问题，重点关注追踪证据流。它概述了一个可重复的调查过程，以查明事实检索、搜索执行、上下文组装或不支持的生成中的失败。该指南强调从可重现的案例开始，记录预期的证据，并将其与观察到的输出和引用的来源进行比较，最终提出一种一次更改一个变量并维护失败记录以进行迭代改进的方法。
-
AI文档分块：保留上下文以获得更好的检索
本文讨论了文档分块对于AI系统中有效检索的重要性。它解释了文档如何被划分为更小的段落，包括段落大小、块之间的重叠以及相关元数据等因素，都会显著影响检索的准确性。作者强调选择段落或章节等自然边界，而不是任意的大小限制，以确保每个块中都保留了计划类型及其相关规则等基本上下文。提供了一个可运行的实验，以帮助用户衡量不同分块策略的有效性。
-
搜索系统利用词汇、图和嵌入方法进行查询匹配
本文探讨了将用户查询与文档进行匹配的各种方法，重点关注词汇、基于图和基于嵌入的方法。词汇方法涉及直接的查询字符串操作，如词干提取、拼写检查和同义词扩展。基于图的方法利用知识图谱进行更深入的理解和扩展。基于嵌入的方法利用学习到的数值表示来捕获语义含义，从而实现超越精确关键词的搜索。文章还触及了搜索和推荐之间的区别，强调搜索将用户查询作为关键的附加上下文。