Natural Questions
PulseAugur coverage of Natural Questions — every cluster mentioning Natural Questions across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
研究发现：边缘RAG系统可通过自适应压缩节省能源
一项新的研究论文探讨了面向边缘设备的检索增强生成（RAG）系统的自适应压缩技术。该研究在NVIDIA Jetson AGX Thor上进行，证明了根据工作负载和设备遥测数据动态调整压缩率，可以在不影响输出质量的情况下显著降低能耗。研究结果表明，中间压缩级别可以将GPU和SoC的能源使用量降低50%以上，比静态或离线压缩方法提供了更有效的方法。
-
新研究探讨静态剪枝和基于LLM的查询扩展在检索系统中的应用
两篇新研究论文探讨了改进信息检索系统的方法。第一篇论文《稀疏检索机制下的静态剪枝》研究了静态剪枝技术如何在不同检索引擎中应用，发现索引端剪枝能持续降低延迟和索引大小，而查询剪枝常被现代系统内化。第二篇论文《Dense Expands, Sparse Anchors》介绍了DESA，一种通道非对称查询扩展方法，它使用LLM生成互补的段落，提高了检索效果并降低了混合检索系统的访问深度。
-
SAGE系统优化RAG检索以降低延迟和成本 · 跟踪2个来源
研究人员开发了SAGE，一种面向生产检索增强生成（RAG）系统的新型自适应检索策略。SAGE根据估计的查询难度动态调整每个查询检索到的文档数量，旨在满足延迟和成本方面的严格服务水平目标（SLO）。该系统使用初始检索的轻量级特征，并进行离线训练，在推理时增加的开销极小。实验表明，SAGE在各种数据集和LLM家族中，在保持答案质量的同时，显著提高了SLO合规性，并降低了延迟和成本，与静态基线相比。
-
TAPR 优化 LLM 提示以提高基准准确性
TAPR 是一个新系统，它使用强化学习自动优化大型语言模型的用户提示。此过程可提高 LLM 响应的准确性，尤其是在 Natural Questions 和 GSM8K 等基准测试上。
-
新的RAG防御框架应对数据投毒攻击 · 已追踪3个来源
研究人员开发了新的防御框架，以保护检索增强生成（RAG）系统免受数据投毒攻击。RAGuard在两篇论文中提出，采用分层方法，包括对抗性检索器微调和一种新颖的零知识推理补丁（ZKIP），该补丁使用反事实解码来检测恶意文档，而无需标签。TriShieldRAG提供了一个三阶段的纵深防御策略，包括摄取卫士、检索评分器和跨LLM共识阶段，以对抗知识损坏。这些方法旨在显著降低或消除投毒攻击的成功率，否则这些攻击可能会操纵RAG系统提供错误的答案。
-
SmartRAG 通过图基检索增强生成技术赋能移动设备上的大语言模型
研究人员开发了SmartRAG，一个新颖的设备端框架，旨在使大语言模型（LLMs）能够作为移动设备上的个人助理。该系统将智能分解为四个模块：感知（Perception）、记忆（Memory）、聚焦（Focus）和思考（Thinking），其中EvoNER用于新实体类型的持续学习，MRGraph用于在保留来源的图中存储知识。SmartRAG旨在利用量化的17亿参数骨干模型，在普通智能手机上实现具有竞争力的多跳推理性能，其表现优于许多更大…
-
用户将 DeepSeek V4 Pro 蒸馏到 Gemma 26B MoE 和 12B 密集模型
一位用户详细介绍了将 DeepSeek V4 Pro 模型蒸馏成两个 Gemma 版本的过程：一个 26B 参数的 MoE 模型和一个 12B 参数的密集模型。蒸馏过程包括重新填充 Natural Questions QA 对，DeepSeek API 调用成本为 0.36 美元。用户在 Unsloth Studio 中遇到了 bug，但最终成功在一台配备两块 RTX 3090 GPU 的服务器上训练了模型。26B 模型消耗了更多的 …
-
新的 RAG 研究增强了 LLM 的检索、遗忘和忠实性
多篇研究论文正在探索检索增强生成 (RAG) 的进展，以提高大型语言模型的性能和效率。Apple 的 CLaRa 框架在连续潜在空间中统一了检索和生成，以实现更好的压缩和端到端优化。其他研究侧重于 RAG 的机器学习遗忘，以删除敏感信息；RAG 的测试时适应，以处理领域转移；以及基于图的匹配，以改进多跳推理。此外，还在开发量化检索器-生成器对齐和抑制模型内部知识的方法，以增强 RAG 系统的忠实性。
-
新的索引框架SPI提升向量数据库中RAG的性能
研究人员推出了一种名为语义金字塔索引（SPI）的新型向量数据库索引框架，旨在增强检索增强生成（RAG）管道。SPI根据查询的复杂性和语义粒度自适应检索深度，将嵌入组织成多个分辨率级别。这种方法允许在不进行完全索引重建的情况下高效地流式插入新向量，并支持渐进式的粗粒度到细粒度搜索。
-
CONCORD 框架通过异步稀疏聚合增强设备-云 RAG
研究人员推出 CONCORD，一个旨在优化设备-云协作设置下的检索增强生成（RAG）的新框架。在该设置中，私有文档保留在本地设备上，而公共知识则驻留在云端。这种方法解决了现有 RAG 方法的局限性，这些方法依赖于频繁同步和密集证据传输，在实际网络条件下可能效率低下。CONCORD 采用异步稀疏聚合，将云视为间歇性的证据来源而非持续的协作者。它使用等待债务控制来管理云参与，并使用证书引导机制仅请求必要的远程证据，从而在保持答案质量的同时…
-
SilentRetrieval 攻击通过投毒文档劫持 RAG 系统
研究人员开发了“SilentRetrieval”，这是一种旨在破坏检索增强生成 (RAG) 系统的新型两阶段攻击。该方法使用对抗性数据投毒注入经过处理的文档，这些文档在语义上得以保留且流畅，使其难以检测。该攻击在劫持各种基准测试和 LLM 的 RAG 输出方面取得了很高的成功率，即使在低投毒率下也是如此，尽管防御措施会以牺牲延迟为代价来减轻其有效性。
-
PersonalAI 2.0 通过知识图谱和规划增强LLM
研究人员开发了PersonalAI 2.0 (PAI-2)，一个通过整合外部知识图谱来改进大型语言模型 (LLM) 系统的新框架。PAI-2采用动态、多阶段查询处理管道，用于自适应、迭代式信息搜索，其性能优于现有的图检索增强生成 (GraphRAG) 方法。评估表明，PAI-2在事实正确性和减少幻觉率方面取得了显著的提升，尤其得益于图遍历算法和搜索规划机制的特定增强。
-
RAG 系统架构在知识库中毒方面表现出不同的鲁棒性
研究人员调查了检索增强生成（RAG）系统在知识库中毒方面的脆弱性，发现系统架构对对抗性鲁棒性有显著影响。在 Natural Questions 数据集上的评估显示，与普通 RAG 系统相比，旨在处理冲突信息（如递归语言模型 RLM）的架构在抵抗中毒攻击方面明显更具抵抗力。研究表明，对于大多数架构而言，对抗性框架而非检索优化是攻击成功的首要驱动因素，突显了内容推理阶段是关键的脆弱点。
-
研究人员提出参数化记忆头以改进生成检索模型
研究人员开发了一种名为后适应记忆调优（PAMT）的新方法，以应对生成信息检索模型中灾难性遗忘的挑战。PAMT引入了一个模块化的参数化记忆头，可以在不改变现有模型核心参数的情况下对其进行增强。该记忆头在解码过程中允许稀疏查询和残差校正，指导文档标识符的生成，同时保留来自先前文档集的知识。实验表明，PAMT在对新文档性能影响极小的情况下，显著提高了对旧信息的保留能力。