ESM2
PulseAugur coverage of ESM2 — every cluster mentioning ESM2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的FLaG池化方法提升了跨领域的AI模型性能
研究人员推出了一种新颖的模块——频域潜在注意力门控池化（FLaG），旨在通过在傅里叶域中操作来改进令牌聚合。该方法在池化前将编码器输出重新表达在频域中，从而能够更全面地表示数据。FLaG已在多种任务中展现出有效性，包括蛋白质活性预测、CIFAR-10和CIFAR-100上的图像分类以及多项语言任务，在多项基准测试中表现优于标准的池化方法。
-
新方法使用随机注意力条件化蛋白质生成
研究人员开发了一种新颖的通过无训练随机注意力采样器条件化蛋白质生成的方法。通过将多样性比率纳入采样器的logits中，可以将生成过程从广泛的蛋白质家族转移到特定的目标子集。该技术在五个Pfam家族中进行了测试，结果表明注意力机制准确地遵循了分析目标，尽管特定残基标记的恢复取决于通过主成分分析分离指定序列和背景序列。加权剖面HMM显示了更直接的标记恢复，而在涉及Kunitz序列的比较中，随机注意力实现了更低的困惑度。
-
新方法通过3D接触监督增强蛋白质语言模型
研究人员开发了LC-SEPLM，一种通过整合长程接触监督来增强蛋白质表示学习的新方法。这种适应性方法应用于使用LoRA的ESM2模型，明确训练模型识别三维残基接触，这是仅序列模型无法直接捕捉的特征。通过在大量AlphaFold预测的蛋白质结构数据集上进行训练，LC-SEPLM在八项蛋白质级别任务上表现出显著的改进，尤其提高了远程同源性识别能力，并优于现有基准。
-
3D掩码自编码器推动显微镜学表征学习
研究人员开发了3D掩码自编码器（MAE-3D），与传统的2D方法相比，它在从体积显微镜数据中学习细胞表征方面表现出卓越的性能。通过将视觉数据与ESM2等蛋白质语言模型对齐，MAE-3D在蛋白质-蛋白质相互作用和定位等下游任务上取得了显著的改进。该研究强调了原生3D建模和跨模态监督在推进单细胞显微镜学表征学习方面的重要作用。
-
新研究解决了 Transformer 中注意力机制的局限性
研究人员正在探索新颖的方法来提高 Transformer 中注意力机制的效率和有效性。几篇论文介绍了缓解过平滑和计算瓶颈问题的方法，特别是在图 Transformer 和大型语言模型中。技术包括容量控制的注意力门控、分析注意力汇聚点以区分自适应无操作和广播机制，以及为超长上下文开发稀疏注意力策略。这些进展旨在提高模型在各种基准上的性能，同时降低计算成本。
-
AI帮助科学家改造细菌，使其仅靠19种氨基酸生存
研究人员利用AI研究生命的基本构成单元，特别是蛋白质。通过采用AI指导的蛋白质设计，科学家们改造出一种大肠杆菌菌株，使其能够以减少的19种氨基酸（而非通常的20种）生存。该实验表明，核糖体等基本生物机器可以容忍简化，可能为早期生命的化学提供见解。