Forethought
PulseAugur coverage of Forethought — every cluster mentioning Forethought across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
通用人工智能可能通过霸权或人工智能协商和平来终结修昔底德陷阱
通用人工智能（AGI）的概念有可能解决修昔底德陷阱，即崛起大国与衰落大国之间冲突的历史模式。一种提出的机制涉及一个单一的AGI行为者超越所有其他行为者，建立全球霸权。或者，如果AGI的发展导致不确定性，人工智能可以通过提供可信的执行机制，促进人类行为者之间的积极和解协议，从而防止代价高昂的竞争和战争。这类似于国家内部如何执行合同，或联邦如何建立最高政府，但规模是全球性的，人工智能充当值得信赖的、永久的执行者。
-
Forethought系统通过神经符号编程实现可验证推理
研究人员开发了Forethought，一个神经符号推理系统，它将推理表示为由符号和神经元基元构建的可验证程序。与推理嵌入模型权重中的传统方法不同，这种方法允许在部署前检查和修改推理过程。当作为工具调用执行内核集成时，Forethought在五个基准测试中展示了30%的相对准确度提升，使小型模型能够以显著减少的训练后投入实现与前沿模型相当的能力，并保持模型无关的可审计性。
-
作者认为，人工智能的渐进式去权力化威胁超过了直接危险
文章认为，仅仅关注人工智能的潜在危险，例如支持复杂的网络攻击或促成人工智能驱动的政变，可能会导致人们感到无力。在承认这些风险的同时，作者认为更阴险的威胁来自于经济和效率压力驱动的系统进行的理性自动化。这种自动化，即使没有恶意或人工智能失控，也可能导致人类将决策权让给复杂的人工智能系统，而这些系统变得太快、太不透明，无法进行有意义的人类干预。作者呼吁采取一种平衡的方法，认真对待风险，同时促进集体行动和监管监督，而不是屈服于基于恐惧的瘫痪。
-
哲学家 Will MacAskill 强调 AI 品格在塑造社会中的关键作用
哲学家 Will MacAskill 讨论了 AI 品格的关键重要性，认为随着 AI 系统日益融入个人和职业生活，其性情将深刻影响全球文化和劳动力。他提议训练超智能 AI 规避风险，并建立人类与它们签订可信合同的框架。MacAskill 还主张采取一种细致入微的方法来应对 AI 的影响，建议采用促进社会发展的驱动力，鼓励反思价值观和后果，而不是强加特定的道德观点。