一位研究人员记录了一个为期八个月的项目，试图构建一个无需重新训练大型语言模型即可积累经验并改进行为的系统。该项目进行了大约200次失败的实验，最终在保留可转移的因果转换方面遇到了瓶颈——即识别并将过去的情况、行动和后果应用于新情况的能力。虽然一些状态突变机制和特定数据类型的确定性保护措施得以保留，但创建记忆和权重之间能够改变未来行为而无需修改代码的知识基底的核心目标仍然难以实现。 AI
影响 强调了创建能够真正从经验中学习和适应而无需依赖传统LLM重新训练的AI系统的难度。
排序理由 博客文章，详细介绍了个人研究项目及其失败之处。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<p><em>This is part 2 of a research series documenting an attempt to build something adjacent to — and in some ways alternative to — large language models. Part 1: "My Synthetic Eval Said 30/30. LoCoMo Said 0.13." The code that survived lives in <a href="https://github.com/teolex…
<p>I tested a simple hypothesis: can long LLM sessions be made cheaper by replacing the full transcript with a compact memory state, without losing answer correctness?</p> <p>On my own synthetic eval, the system passed <code>30/30</code>. On an external benchmark for long-term co…