Jonghyun Park

新的MoRAS方法增强了多模态查询的AI安全对齐

研究人员开发了一种名为多模态风险自适应转向（MoRAS）的新方法，以提高AI模型在安全对齐方面的能力，特别是针对结合文本和图像的有害多模态查询。MoRAS通过增强模型对安全关键图像区域的视觉注意力，解决了现有安全对齐技术的局限性。这种方法可以进行更准确的风险评估和直接拒绝，减少推理开销并提高对各种越狱尝试的泛化能力。该方法仅需要一小部分校准数据集，大大降低了部署前的成本。