epsilon-machines

新框架为AI智能体的规范世界模型定义了范式

本文通过根据建模通道（环境、智能体或联合智能体-环境系统）对强化学习中的世界模型进行分类，引入了一个理解世界模型的框架。利用计算力学，作者将这三种情况的规范预测模型定义为ε-变换器或ε-机。研究表明，规范环境模型与标准的预测状态表示一致，而另外两种情况则为智能体和联合系统产生了类似的规范模型。一个关键发现是，规范的、支持受限的环境状态通过规范的联合因果状态进行分解，其转换结构源自联合模型，而智能体侧的构建是偶对的。