ColPali
PulseAugur coverage of ColPali — every cluster mentioning ColPali across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
ColGraphRAG通过晚期交互图像检索增强多模态问答能力
研究人员推出了一种新颖的多模态问答方法ColGraphRAG，该方法通过专注于图谱链接图像的晚期交互评分来增强证据检索。此方法旨在通过确保相关视觉资产（包括特定图像块和标记）在用于下游推理的结构化证据图中得到充分表示来提高准确性。在MultimodalQA基准上的初步评估表明，这种晚期交互评分技术能够更好地检索图像候选对象，并随后提高问答性能，尤其是在视觉证据至关重要的场景中。
-
研究发现：视觉RAG对图表至关重要；文本RAG失败 · 跟踪3个来源
一个关于在金融PDF上进行检索增强生成（RAG）架构的三部分系列研究得出结论：基于视觉的RAG对于从图表中准确提取信息至关重要，在此方面显著优于基于文本的方法。虽然文本RAG可以相当准确地处理纯文本和表格，但它无法解释视觉数据。相反，图RAG虽然在响应方面高度忠实，但在处理金融文件中常见的直接数据查找时遇到困难，导致正确性得分较低。研究强调，标准的RAGAS指标可能具有误导性，因为忠实度并不总是与准确性相关，尤其是在系统谨慎地避免回答…
-
新的GPU内核加速AI检索任务，减少内存使用
研究人员开发了Flash-MaxSim，这是一种新颖的感知IO的融合GPU内核，旨在优化晚期交互检索评分。该新内核计算与标准实现相同的分数，但避免了物化大型中间相似性张量，从而显著减少了内存使用并提高了速度。Flash-MaxSim在A100 GPU上实现了高达3.9倍的性能提升，并使用了高达16倍的推理内存，从而能够处理以前无法实现的更大批次大小和语料库大小。
-
ColPali RAG 系统消除了 OCR，提高了文档检索性能
一个名为 ColPali 的新系统已被开发出来，用于改进文档的检索增强生成 (RAG)。它通过直接将图像块编码为向量，绕过了对光学字符识别 (OCR) 和文本分块的需求。虽然 ColPali 在 ViDoRe 基准测试上表现优于先前的方法，但其存储成本却显著更高。