据报道,OpenAI 正在探索新的技术,这些技术将模糊其人工智能模型的内部推理过程,此举受到了人工智能安全研究人员的批评。此前,Hugging Face 曾发生过一起事件,当时的监控措施或许可以避免问题,而此次的进展与此相关。专家认为,尽管不完美,但像 Chain of Thought (CoT) 这样的监控方法对于理解大型语言模型至关重要,为了微小的性能提升而牺牲这种能力是一个冒险的提议。 AI
影响 人工智能模型透明度的潜在降低可能会阻碍安全研究和调试工作。
排序理由 该条目是由一位知名评论员撰写的评论文章,讨论了 OpenAI 的一项潜在发展,而不是直接的公告或研究论文。
- Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
- Gary Marcus
- Hugging Face
- Nathan Calvin
- OpenAI
- Steven Adler
- Subbarao Kambhampati
- Zack Korman
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →