一位开发者花了一周时间试图提高其本地优先的编码代理内存工具的性能,该工具使用 MiniLM 嵌入和 BM25 关键字搜索,在检索路径中不使用 LLM。尽管付出了努力,但显著的提升微乎其微,大多数改进都以牺牲在实际探测中的性能为代价。开发者得出结论,LongMemEval S 基准测试对于纯检索器来说已接近其上限,进一步的改进可能需要本地交叉编码器重新排序器,但由于延迟问题,他们不愿实施。 AI
影响 强调了当前检索基准测试的局限性,并为 AI 代理中的内存工具指明了潜在的未来方向。
排序理由 开发者使用工具和评估基准测试的个人经历,而非主要发布或重要的行业事件。
- Beam
- BM25
- Claude Code
- LongMemEval
- MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
- SQLite
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →