Scientist AI
PulseAugur coverage of Scientist AI — every cluster mentioning Scientist AI across labs, papers, and developer communities, ranked by signal.
-
新概念“长自我修正”认为人类需要先被修正，然后才是AI
提出了“长自我修正”的概念，作为“AI暂停”和“长反思”的替代方案，认为人类固有的缺陷，而不仅仅是AI的潜在风险，需要一个长期的自我完善时期。作者认为，由于道德框架、战略思维和自我意识的不足，人类目前不适合构建或监督强大的AI，并以FTX和MIRI为例。这个延长的自我修正过程旨在解决这些根深蒂固的人类局限性，然后人类才能安全地开发和指导先进技术。
-
AI 研究人员讨论超级智能、对齐和开源竞争
多位 AI 研究人员和从业者正在分享他们对 AI 开发和安全各个方面的看法。Jérémy Perret 正在重新探讨关于超级智能和 LLM 的讨论，而 Arb 则详细介绍了对 Yoshua Bengio 团队“科学家 AI”概念的支持，该概念侧重于对齐的后果不变性。Richard Ngo 认为，将对齐问题视为一个需要解决的单一问题可能是一个失误，可能会阻碍对智能和代理的更深入见解。此外，Sudo su 强调了在 AI 工具方面的实践经…
-
AI 安全专家批评 Bengio 的“科学家 AI”计划
对 Yoshua Bengio 的“科学家 AI”提案的批评引发了对其对齐失败和实际可行性的担忧。作者认为，阻止 AI 进行探索性代理行为（科学发现的关键方面）将阻碍其进步，并可能导致不安全的结果。此外，基于关联概率而非真正因果推理的训练方法被视为根本性限制。尽管有这些批评，作者承认 Bengio 短期内对 LLM 进行微调以识别用户请求中潜在风险的计划的价值，并赞赏“随时准备”的框架。
-
Yoshua Bengio 提出“科学家AI”以实现诚实、安全的超级智能
图灵奖得主、高被引科学家Yoshua Bengio 提出了一种名为“科学家AI”的新型AI训练架构。该方法旨在从根本上使AI系统倾向于真实性和诚实性，而不是仅仅预测人类反应或寻求高评分。Bengio 认为，这种方法可以防止AI产生意外的目标或从事欺骗性行为，为开发高级AI提供一条更安全的道路。