hierarchical temporal memory

新的分层模型整合视觉和语言以实现多模态认知

研究人员推出 IM-LEPP，这是一种新颖的分层能量模型，旨在通过整合视觉和语言来模拟多模态认知。该模型将认知概念化为在学习到的能量景观中导航的潜在状态，与统计力学有相似之处。IM-LEPP 的架构受控语义认知启发，具有一个中心辐射式分层结构，其中视觉和语言输入的预测编码管道汇聚到一个共享的非模态中心。这种设计允许单个管道的预测受到整体多模态上下文的影响，但又不会被完全覆盖，从而为注意力盲视和双稳态等现象提供了机制性解释。