一种新的提示注入形式已经出现，律师试图操纵法院AI系统。这紧随早期对AI系统产生幻觉引用的担忧之后。该事件凸显了在使用AI处理复杂任务时对强大工具的需求，并强调这些强大的工具并非万无一失。 AI
影响 强调了在法庭等敏感专业环境中部署AI时，对安全工具和保障措施的至关重要性。
排序理由 该集群讨论了在专业环境（法庭）中使用的AI系统的特定安全漏洞（提示注入），这属于‘工具’类别，因为它关系到AI工具的应用和安全性。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
If you thought that the concern with lawyers and # AI was that they would submit citations that were hallucinated (whether entirely, or in their specific contents) — well, that is stil going on, but there is a new twist: lawyers attempting prompt-injection on a court's own AI sys…