primary progressive aphasia

语言模型在神经消融后表现出“失语”

研究人员探索了语言模型如何通过模拟神经消融来表现出“失语”。通过系统性地移除LSTM和Transformer架构中的计算单元，他们观察到了认知能力下降的不同模式。LSTM在句法和语义能力上表现出渐进的并行下降，而Transformer则根据消融的类型表现出阈值式的崩溃或更平滑的下降。该研究表明，这些依赖于架构的失效模式可以为失语综合征和神经退行性疾病提供新的计算见解。