Gemini Text 004

Anthropic的上下文技巧提高了文档检索准确性

Anthropic提出了一种通过在每个块（chunk）前添加由LLM生成的上下文来改进文档检索的方法。这项技术在2024年9月的一篇文稿中进行了详细介绍，旨在通过为孤立的文本片段提供周围信息来提高搜索结果的相关性。测试时，这种上下文化平均将检索失败率降低了49%，而额外的重排序器（reranker）将其进一步提高到降低67%。该方法对于依赖外部上下文的块特别有益，例如那些引用先前部分或表格的块。