reciprocal rank fusion
PulseAugur coverage of reciprocal rank fusion — every cluster mentioning reciprocal rank fusion across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
本地RAG应用开发揭示了简单技术的惊人有效性
作者详细介绍了他们构建完全本地化RAG应用程序LocalCortex的经验，以及在评估各种检索和生成技术中学到的经验教训。他们发现许多看似有前景的优化几乎没有或根本没有产生积极影响，有些甚至降低了性能。关键的改进来自于简单的添加，例如用于嵌入的任务前缀，以及在未找到相关信息时拒绝回答的严格相关性阈值。该应用程序使用Ollama运行Llama 3和nomic-embed-text等模型，并使用Qdrant进行搜索，在113个评估问题集上…
-
5 个会破坏生产系统的 RAG 错误
构建生产级的检索增强生成（RAG）系统需要仔细考虑，而不仅仅是简单的演示。关键错误包括依赖主观质量评估，而不是命中率和 token F1 等量化评估指标；以及使用固定大小分块，这可能会分割重要的上下文信息。将向量搜索与关键词匹配（如 BM25）相结合可以提高特定术语的检索效果，而设置相关性阈值可以防止模型在找不到相关信息时生成答案。最后，将索引视为静态实体是有问题的；需要一个健壮的摄取管道来处理文档更新、删除和版本控制，尤其是在医疗保…
-
新研究探讨LLM长上下文检索和RAG策略 · 追踪9个来源
近期研究探索了大型语言模型（LLMs）如何处理长上下文，研究调查了性能提升背后的机制。一篇论文检查了思维链（CoT）推理，发现它能够实现定向检索和比广泛检索更紧凑的表示。另一项研究分析了不同的位置编码选择，如RoPE和滑动窗口注意力，如何将模型从位置检索转移到语义检索，从而影响问答等任务的性能。此外，研究比较了各种检索增强生成（RAG）策略，强调了重排序和后期交互对于科学问答的重要性，并引入了学习检索动作和自我评估探索的新框架，以增强知识检索。
-
ShopEase框架使用LLaMA 3.2支持企业客户
一篇新的研究论文介绍了ShopEase，一个专为智能企业客户支持设计的 多智能体框架。该系统集成了六个组件，包括意图识别、CRM交互、内存管理、 混合检索增强生成（RAG）模块、升级能力和主管。ShopEase使用LLaMA 3.2进行响应 生成，通过Ollama在本地运行。检索系统使用各种配置进行了测试，结合了FAISS （密集检索）和BM25（稀疏检索），其中仅使用FAISS的准确率最高，达到85.37%。 研究发现，密集检索效果…
-
新框架统一太阳能分析、问答和预测
一篇新研究论文介绍了一种名为“太阳能智能”（Solar Intelligence）的混合框架，旨在统一太阳能分析、科学问答和机器学习预测。该系统整合了来自 NASA POWER、Biosphere 2 和研究论文语料库的数据。它使用 DuckDB 进行结构化查询，融合 BM25 和 ChromaDB 以从语言模型中获取基于证据的答案，并使用 XGBoost 模型进行每日预测。该框架可通过多个接口访问，服务于学生、研究人员和能源分析师。
-
Perplexity 发布 Q2D-Web 基准，用于评估代理式 RAG 系统中的检索性能
Perplexity 推出了 Q2D-Web，这是一个新的基准和排行榜，旨在评估代理式 RAG 系统中的检索性能。该基准使用了包含 1.9 亿个网页文档和超过 69,000 个代理重构查询的大型语料库，涵盖十种语言。初步评估显示，Perplexity 自家的 pplx-embed-v1-4b 模型在网页排名和综合召回率方面处于领先地位，而 Nemotron-3-Embed-8B 在引用检索方面表现出色。
-
新的代理系统使用 LLM 自动化数据目录 · 跟踪 1 个来源
研究人员开发了 Glyph，一个多策略代理系统，旨在自动化企业数据目录的描述和标记。该系统使用协同工作的 LLM 代理，通过检索增强生成从 GitHub 获取源代码来生成列描述。Glyph 还通过运行三种并行策略——描述标记、业务线正则表达式标记和元数据标记——来分配敏感性本体标签，并使用倒数排名融合 (RRF) 融合它们的输出。经过微调的 MiniLM 编码器显著提高了元数据标记的准确性，使该系统能够作为生产服务进行审计和操作。
-
Uteke 0.17 增强内存存储的可解释性和信任度
Codecora 发布了其 Uteke 内存存储的 0.17 版本，重点关注增强的可解释性和信任度。新版本为召回引入了“解释模式”，提供详细的评分明细，包括向量排名、FTS 排名和倒数排名融合 (RRF) 结果，查询时间增加了约 50 毫秒。Uteke 0.17 还实现了一个超cedence分类账，用于跟踪事实替换，从而能够从错误中恢复并为系统审计提供审计跟踪。此外，每个条目现在都包含来源元数据，例如其来源的 SHA-256 哈希和信…
-
开发者构建RAG平台以防止自信的幻觉
一位开发者创建了RAG.NextUpgrad，一个旨在防止检索增强生成（RAG）系统自信地产生幻觉答案的平台。该平台优先使用托管嵌入和一种融合检索方法（结合密集向量搜索和BM25关键词搜索，通过倒数排名融合合并）在低资源、免费层级主机上运行。一个关键特性是“门控”机制，它检查最高检索结果的相似度分数是否低于可配置阈值；如果分数太低，系统将返回一个确定的“我不知道”消息，而不是调用语言模型，从而避免自信的错误信息。
-
Uteke 内存引擎在不同 CPU 架构上表现出高一致性
Codecora 发布了其开源内存引擎 Uteke 的基准测试结果，在 LongMemEval-S 基准测试中显示出高召回率。一个关键发现是该引擎在不同 CPU 架构之间的一致性，在 x86 云基础设施和 ARM 桌面之间，108 个测试用例中有 107 个匹配。基准测试方法强调透明度，鼓励用户使用公共工具运行自己的测试。
-
开发者详解生产 RAG 系统，具备无状态身份验证和混合检索功能
一位开发者详细介绍了如何创建一个生产就绪的检索增强生成（RAG）系统，以克服常见挑战。该系统通过无状态 HMAC 签名 Cookie 实现零摩擦上手，采用分层权限检查实现企业级多租户，并利用结合关键词和向量搜索的混合检索方法来提高可扩展性。此外，它还包含一个引用验证管道，以提高答案的准确性和可追溯性，在其评估中实现了 74.6% 的准确率。
-
SCOUT系统在PayPal将LLM工具令牌使用量削减99%
研究人员开发了SCOUT（Selective Context Optimization for Universal Tooling，通用工具选择性上下文优化）系统，旨在解决大型语言模型（LLM）代理在上下文工程和工具发现方面的挑战。SCOUT将工具暴露重构为上下文选择问题，仅为当前步骤注入相关工具。这种方法显著减少了令牌消耗和推理成本，正如在PayPal的生产环境中得到验证，该系统实现了99%的工具令牌使用量削减。SCOUT是模型无关…
-
Hugging Face 服务为 Papers with Code 搜索引擎提供支持
Hugging Face 详细介绍了其推理端点 (Inference Endpoints)、作业 (Jobs) 和存储桶 (Buckets) 服务如何成为 Papers with Code 搜索功能不可或缺的一部分。该系统采用混合搜索方法，结合关键词搜索和基于向量的搜索，以提高准确性和语义理解能力。该架构利用 PostgreSQL 和 pgvector 来处理密集嵌入，并使用倒数排名融合 (Reciprocal Rank Fusion…
-
混合 RRF 检索修复了卡纳达语文学作品上的 RAG 故障
一位开发者详细介绍了为扫描的卡纳达语小说构建检索增强生成（RAG）系统所面临的挑战，并强调检索而非语言模型是主要瓶颈。由于卡纳达语的黏着语性质以及文学文本的稀缺性，最初在 ChromaDB 中使用标准多语言嵌入的方法失败了，导致了不准确和幻觉般的响应。解决方案涉及一种结合了 BM25 和密集嵌入以及倒数排名融合（Reciprocal Rank Fusion）的混合检索系统，以及用于精确页面查询的正则表达式路由器，显著提高了忠实度和上下文召回率。
-
MolBioKG 系统将未注册分子置于生物医学知识图谱中
研究人员开发了 MolBioKG，一个旨在将未注册分子连接到生物医学知识图谱的新型两层系统。该系统通过使用多分辨率结构锚定将未见过的分子置于现有的生物医学证据中，解决了“图外分子”的挑战。MolBioKG 仅使用 SMILES 字符串即可检索结构相关的图实体并遍历其生物医学邻域，在多跳推理和图外目标召回等任务中表现优于现有方法。
-
混合搜索融合 BM25 和密集向量以改进信息检索
一种新的信息检索方法结合了词汇搜索（BM25）和密集向量搜索，以克服各自的局限性。BM25 在匹配精确关键词和稀有术语方面表现出色，而密集向量则捕捉语义含义和同义词。通过使用倒数排名融合（RRF）融合两种方法的排名列表，RRF 优先考虑在任一列表中排名靠前的文档，检索系统可以提高召回率。这种混合方法已集成到 Weaviate、Elasticsearch 和 Qdrant 等几种流行的向量数据库中，为查找相关信息提供了更强大的解决方案。
-
BioASQ团队通过新颖的重排和恢复策略增强生物医学问答能力
DS@GT ARC BioASQ团队的研究人员开发了一种新颖的生物医学问答流水线，提高了在BioASQ Task 14b上的性能。他们的系统集成了多源查询扩展、一个经过微调的基于MiniLM的语义重排模型以及用于改进文档排名的倒数排名融合（RRF）。一项关键创新是旨在解决初始检索效果不佳的查询的条件性弱问题恢复策略，该策略采用了语义扩展和关系感知增强。这种方法，加上检索后修剪和输出验证，显著提高了在具有挑战性的问题集上的检索鲁棒性和M…
-
新的分块方法通过尊重语义和结构边界来提高 RAG 的准确性
研究人员正在探索用于文档分块的高级方法，以提高检索增强生成 (RAG) 系统的有效性。一种新颖的方法，Right Reset (RR)，通过分析语言模型在移除上下文时隐藏状态的变化来识别语义边界，其性能优于 BGE 嵌入边界等传统方法。其他技术侧重于语义分块，它根据句子相似度的变化来分割文档，以及结构感知分块，它尊重文档格式，如标题和段落。这些方法旨在确保相关信息保留在单个块中，从而提高检索准确性并改善 LLM 的响应，尤其是在处理复…
-
LLM账单助手在数字叙述上遇到困难，而非检索
为一家互联网服务提供商开发了一个WhatsApp助手来回答账单问题，但遇到的问题并非检索准确性，而是语言模型错误地陈述了正确的数字数据。该系统采用混合检索方法，结合了pgvector进行语义搜索和PostgreSQL的全文搜索来查找特定标识符，并使用Reciprocal Rank Fusion进行融合。为了解决模型幻觉或错误陈述数字的倾向，实施了接地验证器和人性化步骤，在将响应发送给用户之前捕获并纠正错误。
-
开发者详述本地文本到 SQL 代理，以防止 LLM JOIN 错误
一位开发者详细介绍了他们如何构建一个本地文本到 SQL 代理，以查询一个包含 900 个表的庞大数据库，克服了本地 LLM 生成错误 JOIN 的挑战。该解决方案将表选择与 JOIN 逻辑分开，使用向量搜索和倒数排名融合进行表检索。已知关系存储在信任加权的 JOIN 图中，内部风险惩罚决定了允许的 JOIN 路径，确保了准确且安全的 SQL 查询。