Sleep-time Compute

研究发现：具有记忆功能的AI代理存在制造虚假模式的风险

AI代理的记忆系统虽然有助于积累上下文和避免重复错误，但可能导致非现有模式的产生。这是因为记忆检索依赖于相似性搜索，将接近度视为相关性，导致系统将表面上相似的事件归类为重复出现的模式。旨在优化代理性能的离线处理会放大这些人为制造的模式，在未经适当验证的情况下将其变成感知到的事实。为解决此问题，为AI记忆系统提出了第三个信任级别——“假设”，以区分生成可能性和已验证的真相。