Opium

新的OPIUM方法提高了LLM引导向量的安全性和实用性

研究人员开发了OPIUM（Optimizing Protected Injections via Utility Manifolds），一种新的方法来减轻激活引导在大语言模型中造成的意外后果。这种无需训练的技术旨在通过净化引导向量来改善模型实用性和安全性之间的平衡。OPIUM通过匹配特定提示集上的参考行为来保留所需的干预措施，同时确保在原始向量可能失败的提示上获得更安全的响应。