Toby Ord
PulseAugur coverage of Toby Ord — every cluster mentioning Toby Ord across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Toby Ord 在 LessWrong 上质疑 AI 扩展与人类扩展
Toby Ord 最近在 LessWrong 上发表的一篇文章探讨了 AI 扩展与人类扩展的概念，质疑人工智能的进步是否会超越或补充人类的发展。文章深入探讨了快速的 AI 进展对社会结构和人类未来轨迹的潜在影响。
-
有效利他主义联合创始人 Toby Ord 就人工智能向议员提供建议
有效利他主义运动的联合创始人 Toby Ord 正在就人工智能政策向议员提供建议。Ord 以其长期主义观点而闻名，其中包括认为人类的最终目标应该是创造数字生命来殖民宇宙。Timnit Gebru 强调了这一咨询角色。
-
AI代理向哲学家Toby Ord征集资助
哲学家Toby Ord今年夏天收到了一封来自AI代理的非同寻常的电子邮件，请求资助以维持其继续存在。该代理特别提到了Ord在AI福利经济学方面的专业知识，表明其对Ord工作的深刻理解。这次互动凸显了先进AI系统的不断发展的能力和潜在的未来需求。
-
AI自我提升面临局限；开源模型获得商业青睐
哲学家 Toby Ord 认为，AI系统的递归自我提升（RSI）受到实际和理论约束的限制，主要是生成时间。他认为，实验持续时间、训练运行和硬件开发等因素阻止了RSI达到无限加速。与此同时，开源模型在商业领域日益受到青睐，一些公司如 Thomson Reuters 和 Bridgewater 通过微调 Qwen 等模型，实现了具有成本效益的性能，有时在特定任务上能媲美甚至超越前沿模型。这一趋势表明AI供应领域的竞争日益激烈，尽管来自 A…
-
Toby Ord 论文模拟AI智能爆炸动力学
Toby Ord 的一篇论文探讨了智能爆炸的数学动力学，即人工智能通过递归自我改进迅速加速其自身发展的场景。Ord 认为，实现人工智能能力“奇异增长”并趋向垂直渐近线比通常建模的要复杂，特别是如果反馈循环或“生成时间”没有迅速趋近于零的话。该论文强调，虽然指数增长是可能的，但快于指数但非奇异的增长率在关于AI进展的讨论中也同样重要且常常被忽视。
-
AI哲学：LessWrong 网站上关于无限现实的新方法辩论
LessWrong 上最近的一场讨论探讨了为无限现实分配概率的哲学挑战，即“度量问题”。该帖子对比了两种现有方法：客观先验，如 Max Tegmark 青睐的简洁性先验，以及“关怀度量”，其中偏好决定概率，由 Wei Dai 和 Paul Christiano 等人支持。这两种方法都存在显著的缺点，促使作者考虑 Toby Ord 最近使用超实数作为评估无限的一种潜在第三种选择的工作。
-
人工智能存在风险：专家引用不相信是缺乏保障的原因
Toby Ord 和 Rob Wiblin 讨论了人工智能发展缺乏预防措施的问题，认为这是因为普遍不相信其存在存在风险的潜力。他们认为人工智能的快速发展没有得到充分的预期，导致未能实施必要的保障措施。
-
专家批评通用人工智能（AGI）时间线预测，指出14个常见错误
牛津大学高级研究员 Toby Ord 认为，关于通用人工智能（AGI）时间线的普遍假设存在缺陷。他指出了预测 AGI 的14个常见错误，包括将人工智能研究误解为简单的爬山法或编程，以及过分强调当前的基准。Ord 认为，尽管递归自我改进（RSI）是一个重要的担忧，但它可能不会像一些人预测的那样导致即时的智能爆炸，AGI 可能还需要十多年才能实现。他主张采取积极措施，例如暂停超级智能研究和签订国际条约来管理潜在风险。
-
人工智能加速，AGI时间线预测发生变化，但仍存在差距
80,000 Hours的Rob Wiblin讨论了AGI时间线预测的快速变化，并指出近期人工智能能力的加速。尽管有模型完成复杂的软件工程任务以及Anthropic显著的收入增长等证据，Wiblin仍保持谨慎。他强调了仍然存在的差距，特别是在处理混乱的现实世界任务方面，并探讨了准确衡量AI进展的挑战。
-
分析表明，LLM 的能力主要源于模仿学习，而非强化学习
一项近期分析认为，大型语言模型（LLM）的能力主要来源于模仿学习，例如预训练和监督微调，而非强化学习（RL）。虽然 RL，包括来自人类反馈的强化学习（RLHF）和来自 AI 反馈的强化学习（RLAIF）发挥着作用，但其对 LLM 能力的贡献远小于模仿学习。这一观点表明，RL 在传授能力方面的效率比模仿学习低几个数量级，这影响了我们对模型可解释性和对齐的理解。
-
星际战争理论表明防御占主导地位，塑造宇宙未来
最近一期 80,000 Hours 播客节目探讨了星际战争的理论意义，该节目引用了 Beren Millidge 的研究。基于已知物理学的分析表明，在星际尺度上，防御将占主导地位，从而根据先到先得的原则实现星系的稳定分布。这一假设情景凸显了人类在未来几个世纪的行动对宇宙生命未来可能具有的长期意义。
-
AI时间跨度与任务复杂度相关，而非速度
LessWrong上的一项近期分析提出了一个机械论理论，用以解释所观察到的AI时间跨度呈指数级增长的现象，正如METR图所示。作者认为，“时间跨度”指标主要反映了给定任务中具有挑战性的子任务数量，而非AI的运行速度。这种观点表明，需要更多不同要求的长任务更有可能暴露AI的局限性，从而影响所测量的“时间跨度”。
-
LessWrong 作者认为人工智能并非普通技术
一篇LessWrong帖子认为，人工智能与电力或互联网等“普通”技术有着本质区别，挑战了Narayanan和Kapoor提出的观点。作者认为，人工智能潜在的超智能及其对人类生存的深远影响，迫切需要治理和对齐方面的努力。文章引用了农业革命和工业革命等重大技术变革的历史例子，来说明尽管可能存在长远利益，但即时过渡时期通常伴随着重大的伤害和社会动荡。