Ragas
PulseAugur coverage of Ragas — every cluster mentioning Ragas across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新论文评估 RAG 指标与人类评分的对比结果
一项新的研究论文评估了各种检索增强生成 (RAG) 指标的有效性，将其与人类评估和召回率等标准指标进行比较。该研究使用了源自业务数据并由人工标注者评分的问答数据集。它强调了当前方法论的局限性，并提出了未来的研究方向，该研究建立在先前一篇法语出版物的基础上。
-
新的 RAG 评估器 'rag-triad' 在不确定时会弃权
一个名为 rag-triad 的新工具已被开发出来，用于评估检索增强生成 (RAG) 系统的性能，解决了当前基于 LLM 的评估器的局限性。与提供单一、自信分数的其他工具不同，rag-triad 的设计宗旨是通过在无法可靠评估响应时弃权来提高可信度。它将 RAG 故障分为三类：上下文相关性、事实依据和答案相关性，并为每类提供了具体方法。一个关键特性是其“故障关闭”的事实依据检查，该检查要求可验证的引用，并在缺少或不正确引用时弃权而不是…
-
合成LLM评估数据可能具有误导性，dev.to警告
使用合成数据评估LLM可能是一个陷阱，因为生成的数据集可能无法准确反映真实世界的流量。虽然工具可以轻松创建数千个测试用例，但关键挑战在于确保这些合成输入与用户交互的实际分布相匹配，包括罕见和复杂的情况。没有这种验证，合成数据的高通过率可能会产生误导，掩盖潜在的生产问题。
-
RAG 框架易受提示注入攻击，即使使用先进模型也无法幸免
对 LangChain、LlamaIndex 和 Haystack 等流行的检索增强生成 (RAG) 框架进行的安全性分析显示，这三个框架开箱即用都容易受到提示注入攻击。即使使用 GPT-5.1 等更先进的模型，这种漏洞依然存在，某些攻击甚至会加剧。识别出的核心问题不在于模型的智能，而在于 RAG 架构倾向于将检索到的文本视为可信上下文，而不是不可信数据。解决方案包括将检索到的文本视为数据，对其进行界定，并明确标记为模型不可信的数据，…
-
新研究探讨RAG在分块、冲突解决和鲁棒性方面的进展 · 追踪7个来源
多篇研究论文探讨了大型语言模型（LLM）的检索增强生成（RAG）系统的进展。一项研究评估了不同的分块策略，发现在学术文本上，基于聚类的语义分块并未优于更简单的方法。另一篇论文介绍了双置信度对比解码（DCCD），用于处理检索文档中的冲突信息，在多文档问答方面表现有所提高。此外，研究提出了PRA-RAG，用于可证明的鲁棒聚合以抵抗检索投毒，以及AB-RAG，用于自适应预算以提高答案的可靠性。最后，一项研究调查了RAG中引用归属的机制解释，…
-
研究发现：视觉RAG对图表至关重要；文本RAG失败 · 跟踪3个来源
一个关于在金融PDF上进行检索增强生成（RAG）架构的三部分系列研究得出结论：基于视觉的RAG对于从图表中准确提取信息至关重要，在此方面显著优于基于文本的方法。虽然文本RAG可以相当准确地处理纯文本和表格，但它无法解释视觉数据。相反，图RAG虽然在响应方面高度忠实，但在处理金融文件中常见的直接数据查找时遇到困难，导致正确性得分较低。研究强调，标准的RAGAS指标可能具有误导性，因为忠实度并不总是与准确性相关，尤其是在系统谨慎地避免回答…
-
开发者为本地 RAG 添加验证层以对抗 LLM 幻觉
一位开发者为其本地检索增强生成 (RAG) 系统实现了一个验证层，以对抗幻觉。该层将 RAG 起草的答案分解为单独的声明，然后使用 LLM 将每个声明与源段落进行比对，以获取事实支持。该系统成功识别出 RAG 模型捏造信息或错误归因事实的情况，即使数字本身存在于语料库中，也凸显了上下文检查比简单的关键词匹配更重要。
-
新的 SCAR 方法通过自适应分块增强 RAG 召回率
研究人员开发了 SCAR（语义连续感知检索），一种改进检索增强生成（RAG）系统的新颖方法。SCAR 通过自适应地扩展相邻分块来解决固定长度分块的问题，通过连续性惩罚来平衡查询相关性。这种方法在保持高召回率和生成忠实度的同时，显著减少了所需分块的数量，并且证明了其在不同嵌入模型之间的可迁移性。
-
RAG指标伪影导致错误的“有依据但错误”标记
一位研究人员在其对检索增强生成（RAG）系统的评估中发现了一个指标伪影，特别是在“有依据但错误”的答案方面。该问题源于一个基于ID的上下文召回指标，该指标在每查询有多个相关文档的数据集上被无意中设置为失败。当指标的分母是相关文档的数量而上下文窗口大小（k）较小时，召回阈值变得无法达到，从而错误地将许多答案标记为有问题。经过仔细检查和调整指标后，研究人员并未发现实际的检索失败，表明RAG管道的性能符合预期。
-
开发者发布 Regtrace CLI 以检测 LLM 的静默回归
一位开发者创建了 Regtrace，一个开源命令行工具，旨在捕获大型语言模型中的静默回归。与传统的测试方法不同，Regtrace 专注于检测由提示词更改引起的细微错误，这些错误可能导致输出不正确。该工具通过将新的模型运行与基线进行比较来运行，标记事实准确性或格式等指标的任何下降趋势，并且可以集成到 CI/CD 管道中。
-
LLM 评估工具可自动进行季度聊天机器人质量检查
本文介绍了一种 LLM 评估工具，旨在按季度自动评估聊天机器人质量。该工具使用一套“黄金标准”问题和预期答案来测试各种模型配置，并比较结果以跟踪变化并确保运行稳定性。它自动化了手动评估流程，提供了一种结构化的方法来监控聊天机器人性能并识别潜在问题。
-
AI用户自行托管复杂模型，但租用更简单的工具
r/LocalLLaMA上的一个Reddit用户观察到，许多自行托管复杂AI推理模型的人选择使用云解决方案来处理周围的工具，例如提示跟踪和评估。该用户认为，可自行托管的AI工具已显著改进，并以Langfuse和ragas为例，使得在本地运行整个AI堆栈成为可能。尽管存在数据隐私方面的考虑，但使用现成的SaaS工具的惯性以及设置本地替代方案的感知复杂性被认为是这种趋势的主要原因。
-
新研究强调机器学习评估工具存在重大问题
一项对57个机器学习评估工具进行的新的实证研究揭示了重大的操作挑战，特别是在模型、数据集和评估者集成的“规范”阶段。研究发现，未实现的功能、文档缺失和输入验证缺失是导致问题的三大根本原因，占所有问题的60%以上。这些发现主张将“评估工程”作为一项独立的软件工程学科来认可，类似于DevOps。
-
KernelMind 项目详解代码检索改进和评估方法
KernelMind 项目正在详细介绍其开发过程，重点关注改进其代码检索和评估能力。早期版本在主观评估方面存在困难，促使创建了一个基于实际存储库的基准套件来客观衡量性能。消融测试表明，尽管精度略有下降，但图扩展显著提高了工作流重建的召回率，表明其在理解存储库逻辑方面的价值。
-
Agentic RAG 修复了 LLM 管道中 40% 的检索失败
一种名为 Agentic RAG 的新方法解决了标准 RAG 管道中显著的检索失败问题，该问题在生产环境中高达 40% 的时间会失败。与标准 RAG 不同，Agentic RAG 使用代理动态管理检索过程，分解复杂查询，迭代检索信息，并包含一个自我批评循环以确保答案的置信度。此方法对于准确性和来源归属至关重要的复杂查询、高风险应用程序和大型知识库特别有用。
-
向量RAG与LLM维基：研究揭示研究综合的权衡
一篇新的研究论文将向量检索增强生成（RAG）与LLM编译的维基进行了比较，用于回答一个包含24篇研究论文的小型语料库上的问题。虽然维基在跨多个文档综合信息方面表现出色，但RAG在单事实查找和整体事实准确性方面表现更好。探索性分析显示，维基提供了更强的声明级别引用支持，但修改后的RAG方法可以以更低的成本匹配维基的跨论文综合能力。该研究得出结论，有效的研究综合涉及证据组织、引用准确性和成本效益等不同能力，没有单一的架构在所有领域都表现出色。
-
RAG 流水线优化和压力测试工具详解
两篇 dev.to 文章提供了关于为生产环境优化和压力测试检索增强生成（RAG）流水线的指导。第一篇文章详细介绍了 RAG 流水线优化的最佳实践，涵盖文档分块、嵌入选择和检索调优策略，并强调了迭代测试和评估指标。第二篇文章介绍了一个 RAG Pipeline Stress Tester 工具包，旨在在部署前识别并发负载下的幻觉、失败拒绝和延迟等问题，并提供综合健康评分和详细报告。
-
RAG评估系统衡量检索、事实依据和答案忠实度
检索增强生成（RAG）系统虽然因减少幻觉而广受欢迎，但需要超越简单检索指标的强大评估。这些系统包含两个耦合组件：检索器和生成器，两者都可能独立失败。全面的评估应衡量检索质量、上下文相关性、忠实度（答案是否得到上下文支持）、答案正确性和幻觉率。RAGAS等框架提供基于LLM的指标来量化这些方面，确保改进是数据驱动的，并识别出诸如无事实依据的答案或忽略上下文之类的问题。