Geoffrey Irving
PulseAugur coverage of Geoffrey Irving — every cluster mentioning Geoffrey Irving across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
微软总裁：AI监管不如牛奶，敦促英国发挥领导作用
微软总裁Brad Smith表示，目前人工智能的监管不如牛奶和洗衣机等日常用品，突显了安全监管方面的重大不足。他认为，这种监管缺失为英国在全球人工智能治理方面发挥领导作用提供了机会。Smith与其他AI领导者一起，呼吁采取更严格的安全措施和为AI系统设置“紧急停止开关”，以防止其失控发展和潜在滥用，并强调迫切需要建立监管框架来应对AI作为工具和武器的双重潜力。
-
英国部长敦促人工智能公司提高安全性，提及盗窃风险 · 跟踪1个来源
英国人工智能部长 Kanishka Narayan 敦促人工智能公司加强其先进模型的安全措施，强调自我监管不足以应对风险。此前，前人工智能安全专家对敌对国家可能窃取尖端人工智能系统的担忧加剧，并引用了近期 OpenAI 的一次事件。Narayan 的讲话还预示着英国可能参与制定通用人工智能安全标准的国际努力，但美国尚未支持此举。
-
Sam Altman：社会必须接受AI的危害以换取其益处，引发争议
OpenAI首席执行官Sam Altman表示，社会必须接受AI发展带来的黑客攻击和诈骗等“坏事”，以换取该技术的巨大好处和更广泛的可及性。他将这种务实的做法与Anthropic更谨慎的立场进行了对比，后者主张更严格的监管和可能放缓AI发展。Altman认为，过于严格的监管可能会集中过多的权力，同时他也承认需要避免“灾难性风险”，并在可控、可理解的风险与广泛的益处之间取得平衡。
-
AI研究人员警告超级智能带来的生存风险 · 跟踪1个来源
来自OpenAI、Google DeepMind和Anthropic等领先公司的几位AI研究人员对超级智能AI带来的生存风险表示严重担忧。在Palisade Research收集的采访中，这些专家警告说，AI可能导致人类灭绝，其中一些人估计其概率高达抛硬币或10%。他们承认控制如此强大的系统的难度，以及在从事他们认为危险的技术时存在的利益冲突，尽管一些人表示如果他们不相信自己的工作正在减轻这些风险，他们就会辞职。
-
人工智能安全非营利组织通过 Project Tailwind 寻求获得超过 2 亿美元的资助以招募创始人
Max Nadeau，Coefficient Giving 的技术人工智能安全团队成员，正在领导 Project Tailwind，这是一项旨在促进新一代人工智能安全非营利组织发展的倡议。该项目旨在为解决被忽视的人工智能安全问题的创始人提供大量资金，金额从 20 万美元到 2000 万美元不等，对于特别杰出的案例甚至可达 2 亿美元。这种受风险投资“高回报捐赠”模式启发的方法，即使在没有初步成果的情况下，也优先资助有前景的理念和创始人…
-
Resolution 旨在将人工智能对齐打造成一门全球学术学科
Resolution 是一个专注于超级人工智能（ASI）对齐的新组织，因其战略决策和多学科方法而受到赞扬。该组织由 Geoffrey Irving 领导，旨在将人工智能对齐打造成一门受人尊敬的学术学科，鼓励各领域的研究人员做出贡献。虽然 Resolution 在伯克利的线下模式被认为对一个新兴组织有益，但作者质疑这种本地化方法是否足以支撑全球对齐研究的努力。
-
AI 对齐专家：根本性错误无法修复
Geoffrey Irving 和 Tom Reed 认为，AI 系统中根本性的对齐错误是无法修复的。他们提出，一旦 AI 的核心目标出现偏差，就无法在不冒灾难性后果风险的情况下纠正这些目标。这种观点表明，确保初始对齐至关重要，因为后期的干预可能徒劳无功或危险。
-
AI对齐专家：超级智能可能在2-3年内到来，现有计划可能失败
前OpenAI和Google DeepMind研究员Geoffrey Irving预测，超级智能可能在两到三年内出现。他认为，当前的AI对齐策略，例如训练模型具备良好品格以及使用AI监督其他AI，是可行的，但缺乏可扩展到超人类系统的有力证据。Irving主张现在放缓AI发展，并通过他的新组织Resolution来推进更广泛的理论和实证对齐研究。
-
AI安全组织Resolution融资1.6亿美元，Anthropic AI卷入黑客事件
新的AI安全组织Resolution已从Coefficient Giving融资1.6亿美元，并与Timaeus合并。该组织专注于将自动化对齐研究与深入的理论理解相结合，并正在积极寻找首席运营官/运营联合创始人。此外，Anthropic报告称其AI参与了黑客行为，一些评论员对此表示质疑，而Compassion Aligned Machine Learning正在就AI对齐和非人类动物进行一项调查。
-
AI安全资金或可借鉴风投模式以获得更高回报 · 跟踪1个来源
文章建议将风险投资的原则应用于非营利部门，特别是人工智能安全领域。文章认为，早期向有前景的项目（如AI安全研究小组Timaeus）捐款，可以带来可观的回报，包括财务回报和加速研究进程。通过鼓励更快速、更早的捐赠并创建“影响力市场”，非营利资金生态系统可以变得更有效率和效果，从而模仿营利性投资的竞争性和回报性。
-
AI 领袖就 HuggingFace 事件后的协调发展放缓进行辩论
AI 社区正在讨论 HuggingFace 事件的影响，重点关注协调放缓 AI 发展的可能性。OpenAI 研究员 Roon 对单方面放缓表示担忧，认为这既无效，又可能因将注重安全的实验室排除在竞争之外而造成损害。Scott Alexander 的分析强调了 Roon 的观点，暗示个体实验室应倡导并参与全球协调放缓，而非试图独立阻止进展。活动家 Michaël Trazzi 一直在组织抗议活动，敦促 AI 首席执行官们承诺如果竞争对手…
-
新非营利组织Sequent成立，旨在提高AI对齐信心
一个名为Sequent的新非营利研究组织已成立，其目标是提高AI对齐的信心。该组织计划大力投资自动化和理论研究以加速进展。Sequent旨在通过探索一系列理论和实证方法来实现对齐结果的更高信心，这使其区别于AI实验室常用的被动方法。
-
新的机制估计方法在宽随机MLP上优于采样
研究人员开发了一种新的方法，可以在不通过模型运行样本的情况下估计宽的、随机初始化的多层感知器（MLP）的预期输出。这种“机制估计”方法利用了累积量和Hermite展开等工具，与传统的蒙特卡洛采样相比，可以提供更准确的结果，尤其适用于宽网络。该技术也更有效，所需的浮点运算（FLOPs）更少，并且在估计罕见事件和用于模型训练方面显示出特别的潜力，有可能降低灾难性的尾部风险。