Richard Ngo
PulseAugur coverage of Richard Ngo — every cluster mentioning Richard Ngo across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
AI实验室聘请哲学家来处理伦理和安全问题
像OpenAI、Anthropic和Google DeepMind这样的大型AI公司越来越多地聘请哲学家来解决模型开发中复杂的伦理和安全挑战。这些专家负责处理价值对齐、潜在的生存风险以及先进AI系统的长期社会影响等问题。Nando Villa和Stuart Russell等哲学家正在贡献他们的专业知识，以确保AI开发符合人类价值观和安全原则。
-
AI 研究人员讨论超级智能、对齐和开源竞争
多位 AI 研究人员和从业者正在分享他们对 AI 开发和安全各个方面的看法。Jérémy Perret 正在重新探讨关于超级智能和 LLM 的讨论，而 Arb 则详细介绍了对 Yoshua Bengio 团队“科学家 AI”概念的支持，该概念侧重于对齐的后果不变性。Richard Ngo 认为，将对齐问题视为一个需要解决的单一问题可能是一个失误，可能会阻碍对智能和代理的更深入见解。此外，Sudo su 强调了在 AI 工具方面的实践经…
-
为AI安全领域通才提供精选阅读清单以促进成长
一份阅读清单已为AI安全社区的通才 compiled，旨在促进成长和项目所有权。该清单包含18篇论文和博客文章，经常引用Paul Graham、Ben Kuhn、Ethan Perez和Greg Brockman的文章。涵盖的关键主题包括培养有效的个人特质、做出战略决策、领导项目以及理解组织动态。
-
研究发现 RLHF 以不同于 SFT 的方式更新 LLM 权重
新研究表明，人类反馈强化学习 (RLHF) 以不同于预训练或监督微调的方式更新 LLM 权重。这些 RLHF 更新更稀疏，并且倾向于较少地旋转模型的principal subspaces，表明它们在修改模型行为方面存在定性差异。研究结果表明，RLHF 可能主要激发现有能力，而不是创造新能力，并且与监督微调相比，对不相关任务的性能下降可能更少。
-
LessWrong 作者质疑概率的基本性质
LessWrong 上一系列新帖子探讨了概率的基本性质，质疑其是否是理解不确定性的最恰当概念。作者旨在借鉴多位研究者的工作，为贝叶斯先验、伦理学和其他复杂问题构建一个统一的框架。这篇初步的帖子批评了现有的概率定义，包括频率主义和主观贝叶斯观点，并认为它们不足以应对现实世界的预测和主观信念。