Turnbook

编码代理记忆通过新的嵌入模型将 token 使用量减少 8 倍

Turnbook 的开发者（一个用于编码代理的本地记忆系统）通过更换系统的嵌入模型，显著减少了 token 的使用量。通过用 EmbeddingGemma 替换多语言 mpnet 模型，该系统在从长聊天记录中检索相关信息时，以相同的准确率现在需要少 8 倍的 token。这一改变还提高了多会话问题和跨语言搜索的性能，同时略微增加了搜索延迟并减少了内存使用。