Natural Questions
PulseAugur coverage of Natural Questions — every cluster mentioning Natural Questions across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
更短的示例可提高 LLM 上下文学习效率
研究人员调查了在固定令牌预算内上下文学习(ICL)的最佳策略,重点关注示例数量和长度之间的权衡。他们在“Beat the AI”和“Natural Questions”等问答基准测试上,使用六种指令微调的大型语言模型进行的实验表明,使用更多、更短的示例通常比使用更少、更长的示例更有效。这一发现尤其在“Beat the AI”数据集上表现突出,在 NQ 数据集上也观察到了,尽管程度较轻。在 ANLI R3 自然语言推理上的一个附加实验也…
-
新的OECP框架增强了自然语言处理证据验证
研究人员为自然语言处理(NLP)系统引入了一个名为在线证据包含预测(OECP)的新框架。OECP处理文本区域的顺序验证,其中一个区域的确认会影响其他区域。该系统专为每种候选在精确验证前进行预测,并且只查询一次的场景而设计。在Natural Questions数据集上的实验表明,OECP带来了显著的演绎增益,并在SciFact、ERASER和DPR层级等数据集上进一步改进。
-
新的 RAG 评估框架揭示了隐藏的防御失败 · arXiv 论文
一篇新发表在 arXiv 上的研究论文介绍了一种名为“对齐 RAG 评估”(Aligned RAG Evaluation)的新型框架,旨在更准确地评估检索增强生成(RAG)系统中防御知识投毒的有效性。研究强调,现有主要依赖攻击成功率(ASR)的评估方法可能会掩盖防御引入的关键性失败。所提出的协议使用匹配查询方法来区分被阻止的攻击和引入的错误,从而提供对 RAG 安全性的更全面理解。
-
新研究评估代理式RAG系统中的事实性
一篇新的arXiv论文探讨了代理式检索增强生成(RAG)系统中的一致事实性。该研究评估了像GPT-6 Luna和Llama-3.1 8B这样的模型在使用跨各种数据集的自适应检索策略时,在多大程度上遵循事实依据。研究发现,事实性的目标水平越高,支持率越高,但可用答案越少,这凸显了可靠性和信息量之间的权衡。
-
代理RAG模型在数据集上的事实准确性评估
一篇新论文探讨了代理检索增强生成(RAG)系统中一致事实性问题,其中模型自适应地发出后续检索查询。该研究使用了GPT-6 Luna和Llama-3.1:8b模型,在三个数据集(HotpotQA、Natural Questions、TriviaQA)上评估了六种配置。结果表明,事实性的目标水平越高,支持率越高,但答案可用性降低,在95%的目标水平下,非空输出的完全支持率在89.14%到95.56%之间。
-
新的决策模型方法超越传统检索,增强文档导航能力
研究人员开发了 DecisionRAG,一种新颖的文档导航方法,它绕过了传统的检索方法。DecisionRAG 不依赖词汇匹配或固定的嵌入空间,而是采用决策模型在单次前向传播中评估候选文档分支,使得不同粒度的相关性估计具有可比性。该方法在 MultiDoc2Dial 和 Natural Questions 等基准测试中,在检索准确性方面显著优于现有的密集检索技术,且无需针对特定任务的训练或第一阶段检索器。该系统可以处理大型语料库,例如…
-
新的GRaSP系统优化地理分布式RAG的延迟和成本
研究人员开发了GRaSP,一种用于检索增强生成(RAG)系统的新型重评分层,旨在优化地理分布式基础设施中的性能。该系统通过在其选择过程中纳入延迟和可选成本惩罚,解决了广域延迟、跨区域出口成本和数据驻留规则等挑战,而无需重新训练模型。GRaSP已显示出显著的延迟降低,将P90获取延迟降低了41%,同时保持了大部分检索召回率,并在改进端到端问答任务方面显示出潜力。
-
RAGFlip论文衡量检索器升级中的负面翻转
一项新的研究论文RAGFlip引入了一种评估检索器升级的方法,重点关注查询级负面翻转。当新的检索器未能找到先前检索器(如BM25)成功识别的相关段落时,就会发生这种翻转。研究发现,所有评估的替换检索器(BGE-large、E5-large-v2和SPLADE)都提高了整体覆盖率,但在各种数据集和深度上仍然表现出负面翻转。这些回归尤其在较小的检索深度下更为显著,突显了在检索器评估中,除了聚合指标外,还需要查询级兼容性。
-
保形事实性控制增强了多跳RAG,但降低了输出。
研究人员探讨了保形事实性控制在多跳检索增强生成(RAG)系统中的有效性。他们的研究应用于HotpotQA、Natural Questions和TriviaQA等数据集,并使用了Llama-3.1:8b和GPT-4o mini等模型。研究发现,分裂保形声明过滤显著增加了生成声明的事实支持。然而,这种改进是以降低声明保留率和提高弃权率为代价的,这意味着保留的声明更少,更多的响应变为空白。
-
新的ReDSI框架提高了文档检索中DSI的可复现性
研究人员推出ReDSI,这是可微分搜索索引(DSI)框架的一个开源实现,旨在解决生成式检索中的可复现性和评估一致性问题。原始DSI框架虽然是生成式检索的一个基准,但一直缺乏对其文档标识符类型的统一实现,并且由于NQ320K数据集的预处理说明不足而显示出不一致的结果。ReDSI支持所有三种标识符类型,并提供了一个标准化的管道来构建NQ320K数据集,从而能够进行更可靠的比较,并进一步研究检索的有效性和效率。
-
新的TRIS防御系统对抗RAG模型的知识投毒
研究人员开发了TRIS(Tri-Layer Retrieval Integrity Sieve,三层检索完整性筛查器),以对抗检索增强生成(RAG)系统中的知识投毒。该中间件防御系统通过采用跨嵌入空间聚类、结构过滤和LLM一致性验证来净化检索到的证据。TRIS显著降低了包括黑盒和白盒投毒方法在内的各种攻击的成功率,同时恢复了RAG模型的干净准确性。
-
新的PruneShift框架评估AI模型剪枝决策的可靠性
研究人员推出PruneShift,一个旨在评估机器学习模型结构化剪枝过程中决策可靠性的新框架。与以往关注平均代理误差或秩相关性的方法不同,PruneShift将选择器输出附近的预测保真度与最终剪枝决策的质量分离开来。使用TextbookQA和Natural Questions等数据集以及OPT-125M模型进行的研究表明,局部保真度并不总是与广泛保真度相关,这凸显了区分评估指标的必要性。
-
新研究探讨 RAG 的可靠性、效用和幻觉风险 · 追踪 8 个来源
近期研究探讨了检索增强生成 (RAG) 系统的细微差别,重点关注提高其可靠性和效用。一篇论文详细介绍了一个用于 LLMs4OL 2026 挑战的系统,该系统使用 Qwen2.5-14B-Instruct 进行检索增强的少样本提示,在本体学习任务上取得了优异的成绩,但突出了关系提取方面的局限性。另一项研究调查了证据感知检索评估(优先考虑支持生成的段落)是否能真正提高下游效用,发现结果好坏参半,并建议应根据具体用例定制评估方法。进一步的研…
-
新的审计方法揭示了检索增强问答系统中隐藏的答案变化
一篇新的研究论文介绍了一种名为“快照兼容性审计”(Snapshot Compatibility Audit)的方法,用于检测检索增强问答系统中“不顾准确性的答案变化”(accuracy-blind answer churn)。这种现象发生在系统更新(例如索引扩展)导致答案发生变化,但整体准确性指标并未显著改变时。该审计通过比较同一快照内的答案一致性与不同快照之间的答案一致性来量化这种隐藏的答案变化。使用该审计方法对Natural Qu…
-
新基准揭示RAG模型在误导性上下文方面存在困难
arXiv上发表的一项新研究引入了GRAB-RAG,这是一个旨在评估检索增强生成(RAG)模型区分缺失上下文和误导性上下文能力的基准。研究发现,即使有明确的弃权提示,小型冻结RAG模型在包含故意植入的误导性信息的问答中,错误率也超过40%。冲突检查和自然语言推理(NLI)验证器在减少错误答案方面有所改进,但它们要么牺牲了正确答案的覆盖率,要么在模型参数记忆与误导性段落一致时失效。
-
研究发现:边缘RAG系统可通过自适应压缩节省能源
一项新的研究论文探讨了面向边缘设备的检索增强生成(RAG)系统的自适应压缩技术。该研究在NVIDIA Jetson AGX Thor上进行,证明了根据工作负载和设备遥测数据动态调整压缩率,可以在不影响输出质量的情况下显著降低能耗。研究结果表明,中间压缩级别可以将GPU和SoC的能源使用量降低50%以上,比静态或离线压缩方法提供了更有效的方法。
-
新研究探讨静态剪枝和基于LLM的查询扩展在检索系统中的应用
两篇新研究论文探讨了改进信息检索系统的方法。第一篇论文《稀疏检索机制下的静态剪枝》研究了静态剪枝技术如何在不同检索引擎中应用,发现索引端剪枝能持续降低延迟和索引大小,而查询剪枝常被现代系统内化。第二篇论文《Dense Expands, Sparse Anchors》介绍了DESA,一种通道非对称查询扩展方法,它使用LLM生成互补的段落,提高了检索效果并降低了混合检索系统的访问深度。
-
SAGE系统优化RAG检索以降低延迟和成本 · 跟踪2个来源
研究人员开发了SAGE,一种面向生产检索增强生成(RAG)系统的新型自适应检索策略。SAGE根据估计的查询难度动态调整每个查询检索到的文档数量,旨在满足延迟和成本方面的严格服务水平目标(SLO)。该系统使用初始检索的轻量级特征,并进行离线训练,在推理时增加的开销极小。实验表明,SAGE在各种数据集和LLM家族中,在保持答案质量的同时,显著提高了SLO合规性,并降低了延迟和成本,与静态基线相比。
-
TAPR 优化 LLM 提示以提高基准准确性
TAPR 是一个新系统,它使用强化学习自动优化大型语言模型的用户提示。此过程可提高 LLM 响应的准确性,尤其是在 Natural Questions 和 GSM8K 等基准测试上。
-
新的RAG防御框架应对数据投毒攻击 · 已追踪3个来源
研究人员开发了新的防御框架,以保护检索增强生成(RAG)系统免受数据投毒攻击。RAGuard在两篇论文中提出,采用分层方法,包括对抗性检索器微调和一种新颖的零知识推理补丁(ZKIP),该补丁使用反事实解码来检测恶意文档,而无需标签。TriShieldRAG提供了一个三阶段的纵深防御策略,包括摄取卫士、检索评分器和跨LLM共识阶段,以对抗知识损坏。这些方法旨在显著降低或消除投毒攻击的成功率,否则这些攻击可能会操纵RAG系统提供错误的答案。