astchunk

代码 RAG 分块从 token 限制转向语义边界

一种用于检索增强生成 (RAG) 系统代码的新分块方法，旨在通过在函数和类定义等语义边界处进行代码分割，而非任意的 token 计数，来提高准确性。这种方法受到卡内基梅隆大学研究的启发，并在 LlamaIndex 和 astchunk 等框架中实现，确保代码块保留其结构完整性。通过保留函数名和上下文，该技术显著增强了代码助手的检索和生成能力，在 RepoEval 和 SWE-bench 等基准测试中表现得到提升。