Structure-aware chunking

RAG生产策略：结构感知分块和混合检索是关键

生产环境中有效的检索增强生成（RAG）需要超越简单的固定大小分块和基本嵌入。高级技术涉及结构感知分块，以保留语义边界，例如将标题与其内容关联，并避免在表格或代码块内分割。混合检索方法，结合关键词搜索（如BM25）和向量搜索，对于处理涉及特定标识符或代码的查询至关重要，其中倒数排名融合（RRF）是一种稳健的合并策略。此外，重新排序检索到的块和实现查询重写可以进一步提高生成答案的准确性和相关性。