PulseAugur
实时 12:42:00
English(EN) PSA: Almost nobody is working on alignment

AI安全社区很少关注核心对齐研究

一项最新分析表明,积极从事AI对齐核心问题(即确保超智能AI遵循人类价值观和指令)的研究人员数量少得惊人。尽管AI安全社区的许多人从事能力评估、风险评估和政策等相关领域,但直接的对齐研究似乎集中在少数几个关键团体和个人身上。这些团体和个人包括Alignment Research Center、新近宣布的Sequent,以及一些与GDM和伯克利相关的研究人员,尽管致力于这一特定挑战的个人确切范围和人数仍不清楚。 AI

影响 凸显了在确保先进AI系统与人类意图保持一致方面的专门研究可能存在的差距,表明需要更多地关注这一关键领域。

排序理由 该条目是一篇评论文章,讨论了AI安全社区内的研究重点,而不是关于新模型、产品或重大事件的直接公告。

在 LessWrong (AI tag) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. LessWrong (AI tag) TIER_1 English(EN) · Chi Nguyen ·

    PSA: Almost nobody is working on alignment

    <p><span>People often assume that a large fraction of the AI safety community works on alignment. As far as we're aware, this is not true. Most people are not working on making sure superintelligent AIs are aligned with human values or follow human instructions.</span></p><p><spa…