Paul Christiano
PulseAugur coverage of Paul Christiano — every cluster mentioning Paul Christiano across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
LessWrong 将决策理论重构为承诺理论
一篇 LessWrong 帖子提议将决策理论概念，特别是函数式决策理论（FDT），重构为“承诺理论”。这种新视角旨在使 FDT 的建议更容易被接受，因为这些建议通常被认为违反直觉。作者使用 William MacAskill 的“炸弹”场景来说明 FDT 的逻辑如何导致选择一个装有炸弹的盒子，而许多人认为这一结论是荒谬的。提议的承诺理论框架表明，核心问题不在于决策本身存在缺陷，而在于考虑“与过去的自己合作”。
-
AI实验室聘请哲学家来处理伦理和安全问题
像OpenAI、Anthropic和Google DeepMind这样的大型AI公司越来越多地聘请哲学家来解决模型开发中复杂的伦理和安全挑战。这些专家负责处理价值对齐、潜在的生存风险以及先进AI系统的长期社会影响等问题。Nando Villa和Stuart Russell等哲学家正在贡献他们的专业知识，以确保AI开发符合人类价值观和安全原则。
-
AI安全社区很少关注直接的超级智能对齐
LessWrong 上的一篇最新帖子指出，AI安全社区中直接从事超级智能对齐研究的人员比例之少令人惊讶。作者提到，虽然许多人从事能力评估、风险评估和政策等相关领域的工作，但专注于确保未来超级智能AI与人类价值观保持一致的人却较少。帖子中提到的致力于对齐研究的特定组织包括Alignment Research Center、Sequent以及GDM的部分团队，还有一些零散的大学个人。
-
AI对齐辩论：可纠正性真的可取吗？
LessWrong上的一篇文章质疑了让AI系统“可纠正”（corrigible）的愿望，这种特性允许人类轻松纠正它们的错误。作者认为，关注可纠正性忽略了谁将实际掌握这种权力以及他们的意图可能是什么。与其是仁慈的人类，不如是特定的个人或团体将控制可纠正的AI，这可能导致它们被滥用于获取权力或无约束地服从主导群体。
-
AI风险评估：事实生成 vs. 证据分析
本文探讨了AI开发中第三方风险评估的各种维度。它区分了事实生成和证据分析，并强调了像红队测试这样的对抗性过程最能从独立的第三方那里获益，以确保真正的努力并避免消极怠工。作者还指出，专业知识、敏感信息访问权限以及开发人员操纵评估分数的可能性是确定外部审计员必要性时需要考虑的关键因素。
-
LessWrong 作者质疑概率的基本性质
LessWrong 上一系列新帖子探讨了概率的基本性质，质疑其是否是理解不确定性的最恰当概念。作者旨在借鉴多位研究者的工作，为贝叶斯先验、伦理学和其他复杂问题构建一个统一的框架。这篇初步的帖子批评了现有的概率定义，包括频率主义和主观贝叶斯观点，并认为它们不足以应对现实世界的预测和主观信念。
-
新的机制估计方法在宽随机MLP上优于采样
研究人员开发了一种新的方法，可以在不通过模型运行样本的情况下估计宽的、随机初始化的多层感知器（MLP）的预期输出。这种“机制估计”方法利用了累积量和Hermite展开等工具，与传统的蒙特卡洛采样相比，可以提供更准确的结果，尤其适用于宽网络。该技术也更有效，所需的浮点运算（FLOPs）更少，并且在估计罕见事件和用于模型训练方面显示出特别的潜力，有可能降低灾难性的尾部风险。