Andrej Karpathy 提出了一种新的大语言模型记忆方法,超越了大上下文窗口和标准的 RAG。他的概念涉及大语言模型逐步构建和维护一个持久化的、结构化的 markdown 文件维基。这个维基充当一个联想知识库,大语言模型在处理新来源时更新和交叉引用信息,有效地编译知识而不是仅仅检索它。一个名为 kb-wiki 的工具已被开发出来以实现这种模式,它在本地运行,并为代理提供搜索、添加和更新维基的命令,从而在不依赖云的情况下实现持久记忆。 AI
影响 使大语言模型能够构建持久的、累积的知识库,超越了上下文窗口和基本检索的限制。
排序理由 该集群描述了 Andrej Karpathy 提出的一种新的大语言模型记忆管理研究概念,以及一个实现它的工具。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →