prefilling attack

新PRESTO方法提升了开源大语言模型的安全对齐能力

研究人员开发了一种名为预填充注意力停止（PRESTO）的新方法，以增强开源大语言模型的安全对齐能力。该技术解决了预填充攻击等漏洞，这些攻击可以通过操纵模型响应来绕过现有的安全措施。PRESTO通过匹配令牌排名而非仅仅匹配概率，改进了先前的监督微调防御措施，从而显著提高了模型在面对复杂攻击时的安全性。该方法在多个流行的LLM上展示了高达4.7倍的安全改进，为更安全的开源AI铺平了道路。