Scientist AI
PulseAugur coverage of Scientist AI — every cluster mentioning Scientist AI across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
作者提出“长自我修正”以应对人类AI就绪问题
作者提出“长自我修正”（The Long Self-Correction）作为“AI暂停”（AI Pause）和“长反思”（Long Reflection）的替代概念，认为人类由于固有的缺陷，尚未准备好构建强大的AI。这些缺陷包括缺乏可行的道德框架、糟糕的哲学和战略推理能力、对自身能力的过度自信以及易受操纵。作者认为，在人类能够安全地开发和监管先进AI技术之前，需要一个长期的自我改进过程，并从人类在类似问题上的历史进步中汲取希望。
-
AI 研究人员讨论超级智能、对齐和开源竞争
多位 AI 研究人员和从业者正在分享他们对 AI 开发和安全各个方面的看法。Jérémy Perret 正在重新探讨关于超级智能和 LLM 的讨论，而 Arb 则详细介绍了对 Yoshua Bengio 团队“科学家 AI”概念的支持，该概念侧重于对齐的后果不变性。Richard Ngo 认为，将对齐问题视为一个需要解决的单一问题可能是一个失误，可能会阻碍对智能和代理的更深入见解。此外，Sudo su 强调了在 AI 工具方面的实践经…
-
AI 安全专家批评 Bengio 的“科学家 AI”计划
对 Yoshua Bengio 的“科学家 AI”提案的批评引发了对其对齐失败和实际可行性的担忧。作者认为，阻止 AI 进行探索性代理行为（科学发现的关键方面）将阻碍其进步，并可能导致不安全的结果。此外，基于关联概率而非真正因果推理的训练方法被视为根本性限制。尽管有这些批评，作者承认 Bengio 短期内对 LLM 进行微调以识别用户请求中潜在风险的计划的价值，并赞赏“随时准备”的框架。
-
Yoshua Bengio 提出“科学家AI”以实现诚实、安全的超级智能
图灵奖得主、高被引科学家Yoshua Bengio 提出了一种名为“科学家AI”的新型AI训练架构。该方法旨在从根本上使AI系统倾向于真实性和诚实性，而不是仅仅预测人类反应或寻求高评分。Bengio 认为，这种方法可以防止AI产生意外的目标或从事欺骗性行为，为开发高级AI提供一条更安全的道路。