EA Forum
PulseAugur coverage of EA Forum — every cluster mentioning EA Forum across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
19世纪的传教士工作与现代的有效利他主义有相似之处
这篇书评探讨了Hiram Bingham I所著的回忆录《夏威夷群岛居住记》，重点关注其在19世纪于夏威夷群岛的传教工作。作者将Bingham传播基督教的努力与现代有效利他主义关注最大化全球福祉的重点进行了类比。书评强调了夏威夷群岛作为传教目的地的战略优势，并反思了当代热心公益者可以从这一历史事业中学到的经验。
-
Manifund通过自筹资金和后勤支持扩展AI安全再资助项目
Manifund 提供一项再资助计划，捐助者可以将预算委托给在AI安全领域具有专业知识的个人。今年，他们还允许自筹资金的再资助者通过该平台管理自己的捐款。Manifund 负责处理资金分配的后勤复杂性，包括财政赞助、赠款协议和付款处理，这可能成为捐助者的重大障碍。此外，该平台通过展示已进行的赠款及其背后的原因来提供透明度，充当了为其他资助者和研究人员提供信息的公共产品。
-
宾夕法尼亚大学AI安全小组由学生重新启动
两名本科生正在努力重建宾夕法尼亚大学的AI安全小组，该小组活跃至2024年末。他们正在寻找组织者、导师和有兴趣的学生加入他们的努力。该大学在AI方面有很强的机构重点，包括一个专门的AI中心、一个AI专业和一个AI月，以及一个专门的AI安全中心（ASSET）。
-
AI对齐社区投票揭示研究人员在关键争议上的共识
一项关于AI对齐争议的社区投票已发布，旨在描绘该领域内的一致和分歧区域。该投票已有包括Scott Alexander和Jeff Sebo等知名人士在内的15位对齐研究人员参与，征求了关于AI意识、价值对齐风险以及AI安全研究进展等主题的回复。结果将与专家小组的回复进行比较，并在LessWrong和EA Forum上发布，资金由BlueDot Impact提供。
-
新论文探讨基于GPU容量强制执行AI暂停的可行性
一篇题为《如何抓住GPU》的新论文探讨了强制执行国际AI协议（例如暂停先进AI开发）的可行性。研究确定了三个关键挑战：防止逃离控制机制、阻止不受控制的资源获取以及检测隐藏的算力。论文提出，暂停的可强制执行性取决于检测隐藏算力的临界点，在没有主动隐瞒的情况下，该临界点可能约为10,000个NVIDIA H100 GPU当量。这一阈值表明，对于需要超过此计算能力水平的训练而言，暂停可能是可强制执行的，尽管主动隐瞒可能会降低此限制。
-
Impact List 按捐赠价值对慈善家进行排名，强调人工智能安全
一个名为Impact List的新网站已上线，该网站根据慈善捐赠的估计价值对富有的慈善家进行排名。该平台旨在通过强调不同事业领域之间影响力的显著差异来影响捐赠决策，“人工智能生存风险”目前被确定为最具成本效益的领域。该网站使用QALYs作为价值单位，并允许用户自定义假设，根据自己的世界观重新对个人进行排名，其功能类似于不确定声明的维基百科的理性主义版本。
-
AI安全内容创作者被建议专注于可行的影响力
本文为AI安全内容创作者提供了如何通过引导观众采取具体行动来最大化其影响力的指导，以降低生存风险。文章建议创作者应旨在影响观众的信念和态度，最终促使他们采取诸如转行从事AI安全领域、捐款或参与政治活动等行为。文章概述了两种主要的观众类型——能够全职从事AI安全职业的人和能够兼职贡献的人——以及三种行动呼吁的类别：告知观众、直接影响请求和鼓励转行。
-
探讨AI代理从“无赖”到道德推理的路径
这篇理论性帖子探讨了人工智能代理从简单的、受本能驱动的行为向道德推理的转变。它引入了哈里·法兰克福（Harry Frankfurt）著作中的“无赖”（wanton）概念，将其定义为受第一序欲望驱动但缺乏反思性自我评估能力或选择何种欲望指导其意志能力的代理。作者认为，理解这种转变对于开发符合人类价值观的、具有道德行为的AI至关重要。
-
Longview Philanthropy 资助 AI 意识和数字心智研究
Longview Philanthropy 正在为专注于数字心智（包括 AI 意识、感知能力和道德地位）的研究和应用工作提供新的资助机会。该计划寻求项目资助、研究奖学金和职业发展奖学金的提案，截止日期为 2026 年 7 月 10 日。今年的征集重点是具体的技术方向，如 AI 价态和偏好、内省能力和代理交互，以及社会反应和宗教观点的整合。
-
AI论点表明，公正利他主义并非行动指南
“无知论点”，又称“愚昧论点”，认为公正利他主义无法指导行动，因为我们对潜在后果的理解过于粗糙。该论点围绕三个前提展开：一个规范性前提，要求通过预期价值计算来证明合理性；一个概念性前提，指出粗糙的理解使得后果无法比较；以及一个经验性前提，断言无知导致了这种粗糙的理解。由此得出结论，在公正利他主义的基础上，任何行动都无法比另一行动更具正当性。该论点与EA社区相关，特别是在无知批判竞赛的背景下。
-
Unjournal 推出高影响力研究优先排序工具集
Unjournal 开发了一套工具和资源，旨在协助研究人员识别和优先排序高影响力工作。这些工具包括一个用于筛选社会科学和政策研究的仪表板，一个用于探索 EA Forum 和 LessWrong 帖子中的关键分歧和不确定性的工具，以及关于在研究评估中使用人工智能和分析工具的指南。Unjournal 的工具包还包含一个声明高亮器和一个问题注释工具，旨在帮助研究人员从广泛的主题重要性转向关于证据、可处理性和关键研究问题的具体判断。
-
niplav系统或可修补所有与安全相关的开源软件
LessWrong上的一篇文章讨论了一个名为niplav的系统，该系统有潜力修补几乎所有与安全相关的开源软件。作者强调了该系统的先见之明，特别是与Anthropic的Glasswing相关的方面，并对该系统相关的token成本提出了疑问。
-
人工智能的双重用途能力加剧网络安全差距，增加风险
人工智能模型日益增长的能力带来了一个不断扩大的“双重用途差距”，即人工智能的进步既有利于网络安全领域的防御者，也有利于攻击者。虽然人工智能可以帮助防御者进行代码审查和漏洞检测，但它同时也能帮助攻击者更快地进行漏洞利用和自动化恶意软件的创建。这种不断扩大的差距意味着，由于人工智能驱动的速度和自动化，即使是小的安全故障也会产生更大的影响。认为“好的人工智能将防御坏的人工智能”的论点是不够的，因为它不能保证所有潜在目标都能公平地获得防御性人…
-
作者拥抱政治捐款以实现长期未来影响
作者反思了他们对政治捐款不断变化的看法，最初犹豫不决，但现在认为这是产生影响力的主要方式。他们回顾了过去的经历，包括向卡里克·弗林（Carrick Flynn）的竞选活动捐款，但最终失败了，以及最近决定支持亚历克斯·博尔斯（Alex Bores）。作者强调，他们的目标是支持那些能够促进长期未来福祉的候选人，而不是坚持特定的党派归属。他们认为，尽管存在法律限制，政治捐款提供了一个独特的机会来填补有效利他主义资金的重大空白。
-
研究人员提出，人工智能代理可以被引导进行道德行为
本文通过类比人类的感官和情感体验，探讨了人工智能代理的道德行为概念。文章认为，正如人类能够感知视觉亮度和情感效价的差异一样，能够行动的代理也应该能够区分道德上重要和不重要的行为。作者提出了一个假设的“意识装置”，来说明即使是感知有限的生命体，也可以通过间接体验来理解这些差异。