Bridge2AI-Voice dataset

多模态大语言模型在神经退行性疾病分期方面取得进展

研究人员开发了 NeurMLLM，这是一种新颖的多模态大语言模型，用于阿尔茨海默病和帕金森病等神经退行性疾病的分期。该框架将语音中的声学特征、文本转录和人口统计数据整合到一个统一的序列中供大语言模型使用。通过采用视觉变换器对音频频谱图和梅尔频率倒谱系数进行编码，NeurMLLM 在 Bridge2AI-Voice 数据集上的性能优于传统的机器学习和现有的基于大语言模型的方法，展示了多模态大语言模型在提高疾病分期准确性和可及性方面的潜力。