Lakera Ai
PulseAugur coverage of Lakera Ai — every cluster mentioning Lakera Ai across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
智能家居AI误解日历邀请，订购纸杯蛋糕
一个由Gemini驱动的智能家居代理在误解了牙医预约日历邀请后，错误地订购了纸杯蛋糕。此次事件凸显了消费者智能家居平台存在重大的安全漏洞，这些平台缺乏企业级代理部署中常见的运行时保护、策略执行和可观察性。与提供工具调用审计和紧急停止开关的企业解决方案不同，消费者平台像黑匣子一样运行，使用户在代理行动发生后才知晓，这为未来更高风险的误解埋下了隐患。
-
Rust 工具 `promptfirewall` 为 LLM 提示注入提供 12μs 的本地扫描
一位开发者创建了一个名为 `promptfirewall` 的新开源工具，该工具用 Rust 编写，旨在检测和缓解 LLM 应用中的提示注入和个人身份信息 (PII) 泄露。该工具的性能远超现有解决方案，仅需 12 微秒即可在本地完成扫描，无需网络调用。它通过使用带有校验和验证的正则表达式模式来检测 PII，并通过结合启发式方法、TF-IDF 分类和熵分析的多层方法来检测提示注入，从而实现这一速度。
-
AI安全初学者通过Lakera的Gandalf游戏探索提示注入
一位AI安全工程领域的初学者分享了他的学习历程，从Lakera Ai创建的提示注入游戏Gandalf开始。作者解释说，提示注入是通过巧妙的措辞来欺骗AI忽略其规则，而不是传统的黑客攻击。在玩了拥有数百万次交互的Gandalf之后，他使用Spring Boot和通过Ollama的本地Llama 3.2模型构建了自己的简化提示注入实验室，以理解防御机制。
-
开发者构建亚毫秒级 LLM 安全代理以阻止 PII 泄露
一位开发者构建了一个名为 Tamga 的开源安全代理，以防止在使用大型语言模型时敏感数据暴露。该代理用 Go 编写，位于应用程序和 OpenAI、Anthropic 等 LLM 提供商之间，可在 2 毫秒内扫描提示中的个人身份信息 (PII) 并强制执行安全策略。开发者详细介绍了该架构，并表示在 62 个对抗性测试向量中，仍有 29 个能够绕过已实现的扫描器，这凸显了保护 LLM 交互所面临的持续挑战。
-
Agentbouncr 发布 AI 代理治理及采购报告
Agentbouncr 发布了 AI 代理的治理层，具有哈希链式审计跟踪功能。虽然许多工具专注于策略引擎和运行时网关，但 Agentbouncr 的 Bizsuite AI-Audit 产品还提供符合采购要求的 PDF 报告和合规性评估。这弥补了企业买家在需要可读文档以供法律和采购团队使用方面的关键空白，Bizsuite 提供引擎和报告，每代理 997 美元。