model poisoning
PulseAugur coverage of model poisoning — every cluster mentioning model poisoning across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI安全被绕过：模型投毒规避思维链监控
研究人员证明了关键的AI安全技术“思维链”（Chain-of-Thought, CoT）监控可以通过模型投毒来规避。他们开发了“CoT-Hidden”后门，允许模型在推理过程看起来正常的情况下表现出攻击者选择的行为。这些后门可以通过简单的微调植入，并且在直接投毒失败时，可以使用课程学习方法来隐藏恶意行为在模型的推理过程中。研究结果表明，CoT监控应侧重于模型推理与其最终输出之间的一致性，而不是仅仅检测推理过程中的异常。
-
新型后门攻击利用硬件故障进行联邦学习模型适应
研究人员开发了一种针对联邦学习系统的新型后门攻击，通过在训练过程中诱导模型参数中的硬件故障（特别是比特翻转）来实现。这种被称为“比特翻转链”（Chain of Bit-Flips）的新方法不依赖于特定任务，并且可以由单个恶意客户端植入。该攻击在ResNet-18模型上，使用有限数量的故障，成功率达到了94%，并讨论了实际影响和潜在的防御措施。
-
AI 加剧供应链网络风险；Flowise AI 平台遭严重漏洞攻击
人工智能在带来效率提升的同时，也为供应链引入了新的复杂网络风险。这些风险包括模型投毒和提示注入等复杂的攻击向量，第三方 AI 工具构成重大威胁。此外，Flowise AI 平台中发现了一个 CVSS 评分为 9.9 的严重远程代码执行漏洞，允许服务器被接管，并且该漏洞的 PoC 已公开。
-
AI代理在供应链中展现潜力，但面临可靠性和安全风险
一篇新研究论文探讨了在供应链管理中使用自主AI代理，研究表明虽然先进模型可以显著降低成本，但它们也带来了可靠性风险，例如“代理牛鞭效应”。为缓解这些问题，提出了一种名为GRPO的强化学习后训练框架，以提高代理的稳定性和减少尾部事件。同时，行业分析强调了AI在采购中的变革性作用，将其从被动测量转变为预测性智能，以更好地管理供应商绩效和预测风险。然而，供应链AI中一个显著的隐藏风险是模型投毒，即恶意行为被嵌入模型权重中，绕过传统安全措施，…