Kris Lovejoy

AI模型端点面临新的安全威胁和缓解策略

安全专家敦促开发人员为其与大型语言模型交互的应用程序端点实施强大的威胁建模。攻击者越来越多地利用自动化工具和复杂技术来利用这些机器学习表面的漏洞，超越了传统的API安全。主要威胁包括在训练过程中损害模型完整性的后门攻击、通过扰动输入绕过过滤器的规避攻击、可以重建训练数据的模型反演攻击，以及泄露有关训练集信息的成员推理攻击。为缓解这些风险，建议开发人员将模型构件视为不受信任的代码，规范化和限制输入，限制API响应暴露的信息，并实施查询预算。