PulseAugur
实时 15:29:05
English(EN) Your LLM Forgets Everything. Give It a Wiki!

Karpathy 提出通过持久化维基实现大语言模型记忆

Andrej Karpathy 提出了一种新的大语言模型记忆方法,超越了大上下文窗口和标准的 RAG。他的概念涉及大语言模型逐步构建和维护一个持久化的、结构化的 markdown 文件维基。这个维基充当一个联想知识库,大语言模型在处理新来源时更新和交叉引用信息,有效地编译知识而不是仅仅检索它。一个名为 kb-wiki 的工具已被开发出来以实现这种模式,它在本地运行,并为代理提供搜索、添加和更新维基的命令,从而在不依赖云的情况下实现持久记忆。 AI

影响 使大语言模型能够构建持久的、累积的知识库,超越了上下文窗口和基本检索的限制。

排序理由 该集群描述了 Andrej Karpathy 提出的一种新的大语言模型记忆管理研究概念,以及一个实现它的工具。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Karpathy 提出通过持久化维基实现大语言模型记忆

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Artem M ·

    你的大语言模型会忘记一切。给它一个维基百科吧!

    <p>Every new chat with your LLM starts the same way. Hi, here's the context. Here's the stack. Here's what we tried last week. Here's the constraint nobody wrote down. By the time the model is caught up, you've burned ten minutes paying for ground you already covered.</p> <p>Then…