新的分层模型整合视觉和语言以实现多模态认知

研究人员推出 IM-LEPP，这是一种新颖的分层能量模型，旨在通过整合视觉和语言来模拟多模态认知。该模型将认知概念化为在学习到的能量景观中导航的潜在状态，与统计力学有相似之处。IM-LEPP 的架构受控语义认知启发，具有一个中心辐射式分层结构，其中视觉和语言输入的预测编码管道汇聚到一个共享的非模态中心。这种设计允许单个管道的预测受到整体多模态上下文的影响，但又不会被完全覆盖，从而为注意力盲视和双稳态等现象提供了机制性解释。 AI

影响 该模型为理解多模态认知提供了一个新的计算框架，可能影响未来用于整合不同数据类型的 AI 架构。

排序理由 该集群包含一篇详细介绍多模态认知新计算模型的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• hierarchical temporal memory
• IM-LEPP
• Lambon Ralph et al.
• N400
• transformer language models

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →