ESM-2
PulseAugur coverage of ESM-2 — every cluster mentioning ESM-2 across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的PIT-GCL框架利用拓扑学进行蛋白质相互作用预测
研究人员开发了PIT-GCL，一个利用拓扑图对比学习预测蛋白质相互作用的新框架。该双塔系统使用序列嵌入、几何数据和持久同调描述符独立编码蛋白质。通过将这些元素与结构感知Transformer和用于潜在空间对接的交叉注意力模块相结合，PIT-GCL旨在提高结合预测的准确性。该方法在各种基准测试中表现出潜力，优于现有方法，特别是由于其预计算蛋白质表示的能力，适用于大规模筛选。
-
药物-靶点亲和力模型在评估变化下的性能各不相同
一项新的研究论文探讨了药物-靶点亲和力（DTA）模型的不同评估方法如何导致对模型性能的结论各不相同。研究发现，当模型在与其训练数据在特定方面（例如，新的化学系列或新的蛋白质靶点）不同的数据分布上进行测试时，感知到的最佳架构可能会发生显著变化。这凸显了将评估策略与DTA模型的预期实际应用相匹配的重要性。
-
新框架探究蛋白质基础模型中的生物相互作用数据
研究人员开发了ORBIT-FMIB，一个旨在分析像ESM-2这样的蛋白质基础模型如何处理不同类型生物相互作用信息的新框架。该框架使用基于Walsh的分解和子集条件神经依赖性估计来探究模型深度。初步研究表明，ESM-2可能不如低阶信息那样保留高阶表观遗传信息，但随后的复制尝试得出了不太确定的结果，这表明在将此类发现解释为生物学发现时，需要进行稳健的可重复性检查。
-
新的潜在蛋白质语言提升自回归生成模型
研究人员开发了两种新颖的潜在蛋白质语言：蛋白质潜在语言（PLL）和结构潜在语言（SLL），旨在改进用于蛋白质序列和结构生成的自回归Transformer模型。PLL将序列映射到源自ESM-2编码器的上下文字母表，而SLL则调整VQ-VAE模型来表示骨架几何。当作为自回归模型（PLLM和SLLM）进行训练时，与传统的氨基酸分词相比，这些语言在计算扩展指数方面有所提高，并显著减少了低复杂度生成。SLL在序列到结构预测的验证困惑度方面也有显…
-
新方法提高蛋白质语言模型效率 · 2篇论文
两篇新研究论文探讨了提高蛋白质语言模型（PLMs）效率的方法。第一篇论文分析了量化和QLoRA等参数高效微调技术对各种PLMs的影响，发现在许多任务中，GPU内存使用量显著减少，而性能损失极小。第二篇论文介绍了LEMON-ZEST，一种结合进化信息压缩蛋白质序列的新型标记化策略，使小型模型能够达到最先进的性能。
-
轻量级 Murmur2Vec 嵌入在生物分类中可媲美大型 PLM
研究人员开发了 Murmur2Vec，一种用于生物序列分类的轻量级高效嵌入方法，其性能可与 ESM-2 等大型、计算密集型蛋白质语言模型 (PLM) 相媲美。这种新方法使用哈希草图来聚合 k-mer 计数，提供了一种理论上可靠的替代方案，适用于在普通硬件上进行大规模基因组监测。在包括 SARS-CoV-2 刺突蛋白谱系和 HIV-1 亚型在内的四项分类任务的比较测试中，Murmur2Vec 的表现与微调后的 ESM-2 模型相当或更优…
-
新型深度学习模型可根据序列预测抗体-抗原结合亲和力
研究人员开发了DuaDeep-SeqAffinity，一个新颖的深度学习框架，旨在直接从氨基酸序列预测抗体-抗原结合亲和力。该方法通过独立处理抗体和抗原序列，绕过了对昂贵且稀缺的3D结构数据的需求。该框架利用具有ESM-2嵌入、Transformer和CNN组件的双分支架构，在AbRank基准测试上取得了强劲的性能，并证明了对关键结合区域的优先关注。
-
肽-蛋白亲和力模型在不同数据移位下进行基准测试
研究人员对各种肽表示法和回归器在预测肽-蛋白亲和力方面的性能进行了基准测试，结果表明，根据评估是否涉及肽相似性移位、靶点内预测或留靶点出场景，模型性能差异很大。在 60 种配置中，平均 Spearman 相关系数在 0.462 到 0.669 之间。研究发现，ECFP-16 指纹与随机森林回归器在插值和靶点内预测方面表现最佳，而在排除靶点序列时，HELM-BERT 嵌入与 Extra Trees 表现最佳。研究结果表明，肽-蛋白亲和力…
-
新方法使用几何学来解释蛋白质语言模型特征
研究人员开发了一种新方法，通过使用蛋白质骨架的几何注释来解释蛋白质语言模型（pLMs）中的潜在特征。这种方法应用于ESM-2模型，揭示了局部几何形状与模型许多特征显著相关，比以前的数据库或基于序列的注释方法提供了更详细的理解。这些发现有助于区分具有相似数据库注释的特征，并为未注释的宏基因组蛋白质序列提供见解，而消融实验证明了几何特征对接触预测的影响。
-
离散Ricci曲率提供轻量级蛋白质折叠分类方法
研究人员开发了一种利用蛋白质接触图上的离散Ricci曲率进行蛋白质折叠分类的新方法。该方法生成一个轻量级的22维特征向量，在基准数据集上的表现优于ESM-2等大型预训练蛋白质语言模型嵌入。将Ricci曲率与持久同调相结合进一步提高了性能，表明可解释的图描述符可以作为某些生物学任务中复杂语言模型的实用替代方案。
-
Canopy模型通过异构图基础模型推进代谢工程
研究人员推出Canopy，这是一种新颖的异构图基础模型，专为代谢工程设计。该模型将基因、蛋白质、代谢物和实验结果等多样化数据源整合到统一的知识图中。Canopy利用ESM-2（用于蛋白质序列）和MoLFormer（用于化学结构）等领域特定基础模型来创建多模态表示。在应用于发酵滴度预测时，Canopy嵌入的性能显著优于传统的表格机器学习方法。
-
研究发现蛋白质语言模型无法恢复过敏原表位
一项新研究发现，尽管蛋白质语言模型在蛋白质级别过敏原性预测方面表现稳健，但其残基级归因无法准确恢复过敏原表位。研究人员开发了一个基准来评估归因的忠实度，结果显示 ESM-2 和 DeepPlantAllergy 等模型的解释与注释的表位没有显著一致性。研究结果表明，这些模型可能依赖于通用的序列特征，而非特定的免疫学机制，因此在未经定量验证的情况下，不应将归因信号直接解释为用于安全筛选或低过敏原设计的免疫学解释。
-
蛋白质语言模型的过敏原解释缺乏生物学依据
一项新近发表在arXiv上的研究质疑了用于过敏原性分类的蛋白质语言模型所提供的解释的生物学相关性。尽管ESM-2和DeepPlantAllergy等模型在蛋白质级别的预测准确性方面表现出色，但它们的残基级归因信号与注释的过敏原表位没有显著的关联。研究表明，这些模型可能依赖于一般的序列特征，而不是特定的免疫学机制，并警告说，在没有严格验证的情况下，不应将它们的解释视为用于安全筛选或低过敏原设计的直接免疫学见解。
-
Sutra语言将程序编译为PyTorch神经网络
研究人员开发了Sutra，一种可编译为PyTorch神经网络的函数式编程语言。该系统通过将程序归约到融合张量运算图来针对向量符号架构。Sutra在解码束（bundles）方面表现出高精度，并允许直接通过编译后的图进行可微分训练，从而使代码既是逻辑程序又是可训练神经网络。