English(EN) Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment

新型解码器可从fMRI大脑活动中重建语音

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-16 04:00

研究人员开发了一种名为NOEMA的新型时间卷积解码器，用于从功能性磁共振成像（fMRI）数据中重建感知到的语音。该解码器将fMRI测量窗口与多模态刺激嵌入对齐，这些嵌入结合了文本、音频和语音表示。在从大脑活动中检索正确语音片段方面，NOEMA比基线解码器有了显著改进，在两个自然语言语音数据集的42%以上的查询中，能在2000个候选片段中将正确片段排在前10位。 AI

影响这项研究提高了从神经数据中解码语音感知等复杂认知过程的能力，可能对脑机接口和认知神经科学产生影响。

排序理由该集群包含一篇详细介绍解码大脑活动新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 17 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍解码大脑活动新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Corentin Caris, Louis Jalouzot, Nona Rajabi, G\'eraud Ilinca, Ahmed Hassayoune, Asilbek Muminov, Thadd\'ee Delebarre, Clara Fonteneau, Charles Maussion, Bertrand Thirion, Alexis Thual, Antoine Collas · 2026-10-16 04:00

利用时间建模和多模态对齐解码功能性磁共振成像中的自然语言语音

arXiv:2610.22049v1 Announce Type: cross Abstract: Reconstructing what a person perceives from their brain activity is a stringent test of whether neural recordings carry meaningful information. Naturalistic speech offers a rich testbed for this challenge: it unfolds over multiple…

本文如何被排名

报道来源 [1]

利用时间建模和多模态对齐解码功能性磁共振成像中的自然语言语音

相关实体

相关话题