Mahalanobis filtering

蛋白质语言模型中发现新的“离流形坍塌”问题

研究人员在引导式蛋白质语言模型中发现了一个关键问题，称为“离流形坍塌”。当模型的内部表示退化到与随机输入无法区分的状态时，就会发生这种现象，即使外部评分系统仍可能认为生成的序列是成功的。这种坍塌可能导致序列在结构上不合理或复杂度低。为了解决这个问题，开发了一种新的事后过滤方法，称为马氏距离过滤。该技术利用自然蛋白质激活的密度先验来识别和保留典型的候选者，从而在不改变生成过程的情况下提高属性分数和结构合理性。