Dalil

构建RAG搜索引擎：数据清理、分块和嵌入

作者详细介绍了构建Dalil的过程，这是一个用于俄语宗教文档的RAG搜索引擎，并强调了除了基本设置之外遇到的挑战。初始步骤包括数据清理和转换为JSONL以进行高效处理，然后使用现有记录字段（标题/问题和答案/脚注）而不是任意分割来进行结构化分块。对于索引，使用了OpenAI的text-embedding-3-large模型生成3,072维向量，存储在Qdrant中，并为每个块分配了确定性ID。