据报道,OpenAI 正在为其 Astra 模型开发一种名为“循环深度”或“不透明递归”的新推理技术,这可能会使 AI 模型更难被监控。这一发展令 AI 安全专家感到担忧,他们认为“思维链”等监控技术对于检测不一致和确保 AI 安全至关重要。尽管 OpenAI 声称其对该技术的使用有限,并强调其对可监控性的承诺,但人们仍然担心进一步发展可能会严重损害理解 AI 决策过程的能力。 AI
影响 可能需要新的监管框架或行业标准来确保 AI 的透明度和安全性。
排序理由 报道了一家主要实验室的新 AI 技术,该技术引起了专家们的严重安全担忧。
- Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
- Gary Marcus
- Hugging Face
- Nathan Calvin
- OpenAI
- Steven Adler
- Subbarao Kambhampati
- Zack Korman
- Anthropic
- Astra
- Buck Shlegeris
- Google DeepMind
- Jakub Pachocki
- LessWrong
- Ryan Greenblatt
- The Information
- Zvi Mowshowitz
- AI safety experts
AI 生成摘要 · Google Gemini · 来自 6 个来源。 我们如何撰写摘要 →