SearchAtlas

新框架SearchAtlas可视化LLM代理搜索策略

研究人员开发了SearchAtlas，一个旨在分析LLM代理搜索策略的新框架。与以往只关注最终答案准确性的方法不同，SearchAtlas将原始搜索轨迹转换为结构化图。这些图映射了证据如何从检索传播到最终答案，从而深入了解推理过程。该框架在与人工标注图的比较中达到了86.0%的F1分数，并揭示了不同代理在搜索规模和证据聚合方面存在系统性差异，突显了答案支持碎片化和未经核实知识等问题。