Gal Kesten-Pomerants

蛋白质语言模型使用专门的机制来检测序列重复

研究人员调查了蛋白质语言模型（PLMs）如何识别蛋白质序列中的重复片段。他们的发现表明，PLMs首先使用通用的位置注意力机制和生物学特异性组件（例如编码氨基酸相似性的神经元）来创建特征表示。随后，归纳头（induction heads）专注于这些重复片段中对齐的标记（tokens）以预测正确答案。这种近似重复的检测机制有效地包含了精确重复的检测，展示了PLMs如何将基于语言的模式匹配与专门的生物学知识相结合。