Joe Carlsmith
PulseAugur coverage of Joe Carlsmith — every cluster mentioning Joe Carlsmith across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AI哲学：LessWrong 网站上关于无限现实的新方法辩论
LessWrong 上最近的一场讨论探讨了为无限现实分配概率的哲学挑战，即“度量问题”。该帖子对比了两种现有方法：客观先验，如 Max Tegmark 青睐的简洁性先验，以及“关怀度量”，其中偏好决定概率，由 Wei Dai 和 Paul Christiano 等人支持。这两种方法都存在显著的缺点，促使作者考虑 Toby Ord 最近使用超实数作为评估无限的一种潜在第三种选择的工作。
-
AI研究人员以高概率分配讨论“P” · 跟踪1个来源
包括Daniel Kokotajlo、Ryan Greenblatt和Joe Carlsmith在内的一群AI研究人员和知名人士正在讨论并分配一个被称为“P”的事件或概念的概率。虽然“P”的确切性质没有明确定义，但讨论表明它与一个重大的未来发展有关，贡献者之间的概率范围为60%至80%。对话涉及认真考虑“P”的重要性、关于“P”的元级别推理的可能性，以及“P”世界具有重要影响力的想法。
-
LessWrong 帖子：形而上学是功能决策理论辩论的关键
一篇 LessWrong 帖子认为，围绕功能决策理论（FDT）的讨论常常忽视了至关重要的形而上学基础。作者认为，要证明 FDT 的建议是合理的，尤其是在勒索等场景中，就必须探讨诸如平行现实、改变过去的可能性或决策过程的柏拉图主义观点等概念。该帖子批评了常见的在线辩论，认为它们侧重于语义分歧，而不是这些根本性的形而上学问题，而作者认为这些问题才是 FDT 辩论的真正症结所在。
-
美国政府可能难以控制先进AI实验室
美国政府在控制先进AI研究实验室方面可能面临重大挑战，特别是像Anthropic这样日益依赖AI进行自身研发的实验室。随着AI系统变得越来越自主，并能够驱动研发，外部实体（包括政府）对其进行审计或影响AI的指令和目标变得困难。这种情况不仅对政府构成了控制问题，对AI实验室自身也是如此，因为它们必须确保其自主研究人员保持与其预期目标的一致性。
-
作者提出“受虐性先验”以面对生存真相
作者在贝叶斯统计学中引入了“受虐性先验”的概念，认为在缺乏证据的情况下，最痛苦的信念往往是最准确的。这种哲学延伸到死亡和失落等生存现实，敦促人们面对严酷的真相，而不是舒适的幻想。文章提倡积极应对这些挑战，强调人类的创造力有潜力理解并克服基本限制，例如死亡。
-
LessWrong 作者质疑概率的基本性质
LessWrong 上一系列新帖子探讨了概率的基本性质，质疑其是否是理解不确定性的最恰当概念。作者旨在借鉴多位研究者的工作，为贝叶斯先验、伦理学和其他复杂问题构建一个统一的框架。这篇初步的帖子批评了现有的概率定义，包括频率主义和主观贝叶斯观点，并认为它们不足以应对现实世界的预测和主观信念。
-
Anthropic 发布 Claude 宪法有声读物
Anthropic 发布了其“Claude 的宪法”的有声读物版本，由作者 Amanda Askell 和 Joe Carlsmith 朗读。该有声读物包含一个问答环节，讨论了该文件的创建过程、其基本理念以及未来可能为更先进的 AI 模型进行的改编。
-
LessWrong 提供11个克服智力屈从的技巧
作者讨论了人们在信念上过度屈从的倾向，尤其是在面对AI新闻等快速信息流时。为对抗这种倾向，文章建议拥抱一定程度的无知，专注于高层次的概念性思维而非纠缠于技术细节，并培养独立思考能力。文章还触及了心理学策略，如采用更高地位的身份或学会不信任普遍观点。