Protein Language Models
PulseAugur coverage of Protein Language Models — every cluster mentioning Protein Language Models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
蛋白质语言模型在重标定下的接触预测测试中失败
一篇新近发表在arXiv上的研究表明，当氨基酸字母表被任意重标定时，蛋白质语言模型（pLMs）在准确预测蛋白质接触方面表现不佳。尽管Potts模型等经典方法对此类转换保持不变，但各种架构和规模的pLMs，包括ESM-2和MSA Transformer，在接触图准确性方面均出现显著下降。这表明pLMs依赖于特定的残基身份，而非纯粹的共演化统计数据，突显了这些模型计算接触方式的差异及其表示中的潜在偏差。
-
AI识别出46,000种新的β-内酰胺酶，具有抗生素耐药性潜力
研究人员利用蛋白质语言模型（PLMs）和集成学习，从环境宏基因组中识别出超过46,000种潜在的β-内酰胺酶。这些酶分布在各种生境中，属于所有四个Ambler类别，在E. coli中表达时可赋予对多种β-内酰胺类抗生素的耐药性。通过逆向折叠模型进行的进一步分析揭示了可改变耐药性谱系的特定突变，包括增强对碳青霉烯类抗生素的耐药性，并表明高适应性位点显示出更大的自然序列变异性，特别是与来自海洋的酶相比，来自废水的酶表现出更高的变异性。这项…
-
AI 专家辩论扩展性在生物发现中的局限性
Google DeepMind 的 Pushmeet Kohli 和 Chan Zuckerberg Biohub 的 Sal Candido 讨论了 AI 在理解生物学方面的局限性，特别是蛋白质折叠问题。他们认为，正如 AI 中的“苦涩教训”所暗示的那样，仅仅扩展计算和数据对于解决复杂的生物学问题是不足够的。相反，他们强调了科学直觉、专业架构以及高质量、相关数据在推动 AI 驱动的生物发现方面的重要性。
-
新假设和搜索方法利用语言模型改进蛋白质进化
研究人员提出了一种名为线性适应性子空间（LFS）的新假设，该假设认为蛋白质语言模型（PLMs）中一小组方向可以准确预测蛋白质的适应性变化。这一观察基于PLMs中因突变引起的表示变化可以从少数标记变体中线性访问的理念。为了利用这一点，他们开发了子空间引导进化搜索（SGES）方法，该方法从少量样本中估计LFS，以改进学习子空间内的代理建模和不确定性估计。与现有方法相比，SGES在众多蛋白质测定中展示了改进的适应性预测和搜索效率。
-
新AI模型IDiom生成具有可控特征的蛋白质序列
研究人员开发了IDiom，一个在5400万个预测的内在无序蛋白质区域（IDRs）数据集上训练的新型自回归蛋白质语言模型。该模型旨在生成模仿天然IDRs组成和模式的多样化序列，解决了基于结构的设计方法不适用于IDRs的挑战。此外，还引入了一种称为强化稀疏自编码器特征学习（RL-SAE）的训练后方法，以增强具有特定、与功能相关特征的序列的生成。与现有方法相比，这种RL-SAE方法在激活目标特征和增强预测的生物功能方面显示出显著的改进。
-
轻量级 Murmur2Vec 嵌入在生物分类中可媲美大型 PLM
研究人员开发了 Murmur2Vec，一种用于生物序列分类的轻量级高效嵌入方法，其性能可与 ESM-2 等大型、计算密集型蛋白质语言模型 (PLM) 相媲美。这种新方法使用哈希草图来聚合 k-mer 计数，提供了一种理论上可靠的替代方案，适用于在普通硬件上进行大规模基因组监测。在包括 SARS-CoV-2 刺突蛋白谱系和 HIV-1 亚型在内的四项分类任务的比较测试中，Murmur2Vec 的表现与微调后的 ESM-2 模型相当或更优…
-
新方法使用几何学来解释蛋白质语言模型特征
研究人员开发了一种新方法，通过使用蛋白质骨架的几何注释来解释蛋白质语言模型（pLMs）中的潜在特征。这种方法应用于ESM-2模型，揭示了局部几何形状与模型许多特征显著相关，比以前的数据库或基于序列的注释方法提供了更详细的理解。这些发现有助于区分具有相似数据库注释的特征，并为未注释的宏基因组蛋白质序列提供见解，而消融实验证明了几何特征对接触预测的影响。
-
新方法解释蛋白质语言模型嵌入以进行适应性预测
研究人员开发了一种新颖的方法，使用正交投影来解释蛋白质语言模型（PLMs）生成的嵌入。该技术旨在识别这些嵌入中编码了哪些生化特性，这对于蛋白质适应性预测等任务至关重要。通过消除已知表格特征的影响，该研究表明 PLM 嵌入捕获了与这些生化特性相关的模式，并量化了它们对预测准确性的贡献。
-
蛋白质语言模型中发现新的“离流形坍塌”问题
研究人员在引导式蛋白质语言模型中发现了一个关键问题，称为“离流形坍塌”。当模型的内部表示退化到与随机输入无法区分的状态时，就会发生这种现象，即使外部评分系统仍可能认为生成的序列是成功的。这种坍塌可能导致序列在结构上不合理或复杂度低。为了解决这个问题，开发了一种新的事后过滤方法，称为马氏距离过滤。该技术利用自然蛋白质激活的密度先验来识别和保留典型的候选者，从而在不改变生成过程的情况下提高属性分数和结构合理性。
-
蛋白质语言模型信息在不同层级的分布被揭示
一项对13种蛋白质语言模型（PLMs）在15个下游任务上的新研究表明，这些模型的最终层并不总是包含对优化性能最具信息量的嵌入。研究人员发现，用于预测任务的相关信息根据任务和数据集的不同，分布在不同的层级中。例如，对于包含深度突变扫描数据的模型，浅层更有效；而对于多样化的天然蛋白质数据集，深层则更好。研究还指出，当任务涉及人工蛋白质时，性能会显著下降。
-
新的基于偏好的学习框架增强抗体设计
研究人员开发了一种新颖的基于偏好的学习框架，以改进抗体表达排名，这是抗体设计中的关键步骤。该方法利用稀缺的定量表达数据以及来自免疫数据的海量弱阳性监督数据。通过调整用于蛋白质语言模型的Direct Preference Optimization (DPO)并结合基于IMGT的对齐，该框架可以高效地在可变长度序列上进行训练。在大量内部数据集上的评估表明，该方法始终优于现有基线，为数据受限场景下优化抗体可表达性提供了可扩展的解决方案。
-
蛋白质语言模型的过敏原解释缺乏生物学依据
一项新近发表在arXiv上的研究质疑了用于过敏原性分类的蛋白质语言模型所提供的解释的生物学相关性。尽管ESM-2和DeepPlantAllergy等模型在蛋白质级别的预测准确性方面表现出色，但它们的残基级归因信号与注释的过敏原表位没有显著的关联。研究表明，这些模型可能依赖于一般的序列特征，而不是特定的免疫学机制，并警告说，在没有严格验证的情况下，不应将它们的解释视为用于安全筛选或低过敏原设计的直接免疫学见解。
-
新方法可在无人反馈的情况下引导蛋白质模型 · 跟踪 2 个来源
研究人员开发了一种名为无监督奖励优化（unsupervised reward optimization）的新框架，用于蛋白质语言模型（PLMs）。该方法无需昂贵的湿式实验室验证或精选的偏好数据集，即可实现可控的蛋白质生成。该方法利用源自模型不确定性和语义一致性的任务无关奖励，在实验中优于 DPO 和 KTO 等现有方法。该框架提供了一种利用其自身生成数据改进 PLMs 的可扩展方法，尤其是在标记反馈稀缺时非常有用。
-
SurfDesign框架利用表面几何学推进蛋白质设计
研究人员开发了SurfDesign，一个专注于分子表面几何学和理化性质的新蛋白质设计框架。该方法将表面的连续几何流形建模与蛋白质语言模型相结合。据报道，SurfDesign在设计新型结合蛋白和酶方面优于现有的表面条件和仅骨架方法，并且在逆向折叠任务中也表现强劲。
-
新型蛋白质语言模型增强分子动力学和设计
研究人员正在开发先进的蛋白质语言模型（pLMs），以改进分子动力学模拟和蛋白质设计。一种名为 PLaTITO 的方法整合了蛋白质语言模型嵌入，以增强可转移隐式转移算子在分子动力学中的泛化能力，在分布外蛋白质系统上表现出最先进的性能。另一个模型 HD-Prot 在混合扩散框架内使用连续结构令牌来联合建模蛋白质序列和结构，以更少的计算资源实现了具有竞争力的结果。此外，一项研究正在探索 PLMs 的内部表示，分析它们如何编码结构特征，并确定…
-
蛋白质语言模型使用专门的机制来检测序列重复
研究人员调查了蛋白质语言模型（PLMs）如何识别蛋白质序列中的重复片段。他们的发现表明，PLMs首先使用通用的位置注意力机制和生物学特异性组件（例如编码氨基酸相似性的神经元）来创建特征表示。随后，归纳头（induction heads）专注于这些重复片段中对齐的标记（tokens）以预测正确答案。这种近似重复的检测机制有效地包含了精确重复的检测，展示了PLMs如何将基于语言的模式匹配与专门的生物学知识相结合。
-
ProteinOPD框架将蛋白质设计对齐速度提升8倍
研究人员开发了ProteinOPD，这是一个用于将蛋白质语言模型（PLMs）与期望功能对齐的新框架。该方法将预训练的PLMs适配成专门的教师模型，并使用一种称为On-Policy Distillation的技术将其知识蒸馏到一个学生模型中。ProteinOPD旨在平衡多个目标，同时不牺牲模型固有的可设计性，据报道，与强化学习替代方案相比，其训练速度提高了8倍。