Anthropic 为其 Claude 模型开发了一种自我评估技术,使其能够审查自己的对话以确保安全。该方法包括 Claude 在每次响应后识别危害类型、为人工审查分配优先级分数以及记录拒绝情况。该公司报告称,自 Claude Fable 5 发布以来实施的这项功能,以较低的误报率成功标记了相当大比例的有害和高优先级对话。 AI
影响 通过使模型能够自主识别和标记有害内容来增强人工智能安全协议,从而可能减少对广泛人工监督的需求。
排序理由 研究里程碑,详细介绍了在人工智能模型中实施的新安全功能。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →