Natural Questions
PulseAugur coverage of Natural Questions — every cluster mentioning Natural Questions across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
用户将 DeepSeek V4 Pro 蒸馏到 Gemma 26B MoE 和 12B 密集模型
一位用户详细介绍了将 DeepSeek V4 Pro 模型蒸馏成两个 Gemma 版本的过程：一个 26B 参数的 MoE 模型和一个 12B 参数的密集模型。蒸馏过程包括重新填充 Natural Questions QA 对，DeepSeek API 调用成本为 0.36 美元。用户在 Unsloth Studio 中遇到了 bug，但最终成功在一台配备两块 RTX 3090 GPU 的服务器上训练了模型。26B 模型消耗了更多的 …
-
新研究探讨RAG在分块、冲突解决和鲁棒性方面的进展 · 追踪7个来源
多篇研究论文探讨了大型语言模型（LLM）的检索增强生成（RAG）系统的进展。一项研究评估了不同的分块策略，发现在学术文本上，基于聚类的语义分块并未优于更简单的方法。另一篇论文介绍了双置信度对比解码（DCCD），用于处理检索文档中的冲突信息，在多文档问答方面表现有所提高。此外，研究提出了PRA-RAG，用于可证明的鲁棒聚合以抵抗检索投毒，以及AB-RAG，用于自适应预算以提高答案的可靠性。最后，一项研究调查了RAG中引用归属的机制解释，…
-
新的索引框架SPI提升向量数据库中RAG的性能
研究人员推出了一种名为语义金字塔索引（SPI）的新型向量数据库索引框架，旨在增强检索增强生成（RAG）管道。SPI根据查询的复杂性和语义粒度自适应检索深度，将嵌入组织成多个分辨率级别。这种方法允许在不进行完全索引重建的情况下高效地流式插入新向量，并支持渐进式的粗粒度到细粒度搜索。
-
CONCORD 框架通过异步稀疏聚合增强设备-云 RAG
研究人员推出 CONCORD，一个旨在优化设备-云协作设置下的检索增强生成（RAG）的新框架。在该设置中，私有文档保留在本地设备上，而公共知识则驻留在云端。这种方法解决了现有 RAG 方法的局限性，这些方法依赖于频繁同步和密集证据传输，在实际网络条件下可能效率低下。CONCORD 采用异步稀疏聚合，将云视为间歇性的证据来源而非持续的协作者。它使用等待债务控制来管理云参与，并使用证书引导机制仅请求必要的远程证据，从而在保持答案质量的同时…
-
SilentRetrieval 攻击通过投毒文档劫持 RAG 系统
研究人员开发了“SilentRetrieval”，这是一种旨在破坏检索增强生成 (RAG) 系统的新型两阶段攻击。该方法使用对抗性数据投毒注入经过处理的文档，这些文档在语义上得以保留且流畅，使其难以检测。该攻击在劫持各种基准测试和 LLM 的 RAG 输出方面取得了很高的成功率，即使在低投毒率下也是如此，尽管防御措施会以牺牲延迟为代价来减轻其有效性。
-
PersonalAI 2.0 通过知识图谱和规划增强LLM
研究人员开发了PersonalAI 2.0 (PAI-2)，一个通过整合外部知识图谱来改进大型语言模型 (LLM) 系统的新框架。PAI-2采用动态、多阶段查询处理管道，用于自适应、迭代式信息搜索，其性能优于现有的图检索增强生成 (GraphRAG) 方法。评估表明，PAI-2在事实正确性和减少幻觉率方面取得了显著的提升，尤其得益于图遍历算法和搜索规划机制的特定增强。
-
RAG 系统架构在知识库中毒方面表现出不同的鲁棒性
研究人员调查了检索增强生成（RAG）系统在知识库中毒方面的脆弱性，发现系统架构对对抗性鲁棒性有显著影响。在 Natural Questions 数据集上的评估显示，与普通 RAG 系统相比，旨在处理冲突信息（如递归语言模型 RLM）的架构在抵抗中毒攻击方面明显更具抵抗力。研究表明，对于大多数架构而言，对抗性框架而非检索优化是攻击成功的首要驱动因素，突显了内容推理阶段是关键的脆弱点。
-
研究人员提出参数化记忆头以改进生成检索模型
研究人员开发了一种名为后适应记忆调优（PAMT）的新方法，以应对生成信息检索模型中灾难性遗忘的挑战。PAMT引入了一个模块化的参数化记忆头，可以在不改变现有模型核心参数的情况下对其进行增强。该记忆头在解码过程中允许稀疏查询和残差校正，指导文档标识符的生成，同时保留来自先前文档集的知识。实验表明，PAMT在对新文档性能影响极小的情况下，显著提高了对旧信息的保留能力。