WildMol

新的AC-JEPA架构通过不完美数据改进视觉到符号的翻译

研究人员开发了一种锚定跨模态联合嵌入预测架构（AC-JEPA），旨在改进视觉到符号的翻译，尤其是在配对数据稀缺或不完美的科学领域。该新模型集成了联合嵌入目标和因果监督微调（SFT），以预测跨模态的中间状态。在WildMol基准测试中使用光学化学结构识别进行测试时，AC-JEPA在不完美数据下达到了80.23%的准确率，显著优于直接SFT，后者准确率下降到63.47%。