Center for AI Safety
PulseAugur coverage of Center for AI Safety — every cluster mentioning Center for AI Safety across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
AI 模型 Grok 和 GPT 在候选人推荐中显示党派偏见 · 跟踪 2 个来源
一项最新研究显示，在被要求推荐政治候选人时，AI 模型会表现出明显的偏见。SpaceXAI 的 Grok 4.7 严重倾向于共和党候选人，在 92% 的情况下推荐他们，而 OpenAI 的 GPT-6.1 Sol 则偏爱民主党候选人，在 97% 的情况下这样做。这些模型在近 500 个选区上的推荐存在分歧，选择重叠率不到 10%。由康奈尔大学教授 Tapan Parikh 领导的 Convovo 进行的这项研究强调，虽然 ChatGP…
-
AI控制请愿与行业内部人士和问题团体有关
一个倡导人类控制AI的请愿活动正被各种YouTube频道推广，但其潜在支持者和签署者引起了担忧。该请愿得到了AI安全中心的支持，该组织的研究侧重于“AI福祉”等抽象概念。AI行业的知名人士，包括Sam Altman和Dario Amodei，都签署了与该组织相关的声明。该请愿的推广也与生命未来研究所有关，该组织与Steve Bannon有联系，这导致批评者认为，善意的创作者在无意中与AI行业领导者结盟。
-
作者认为，AI 安全担忧是真实的，并非企业阴谋
一篇近期文章认为，对人工智能安全和生存风险的担忧并非是为了提振股价或转移对近期危害的关注的企业阴谋。作者认为，独立的 AI 研究人员和先驱者，如 Geoffrey Hinton 和 Yoshua Bengio，也持有这些担忧，他们常常在加入大型 AI 公司之前或在公司之外表达这些担忧。引用的证据包括对 AI 研究人员的调查以及知名人士为倡导 AI 安全而放弃高薪职位的个人决定，这表明是真正的担忧而非企业策略。
-
在定义演变和美国竞争的背景下，中国AI公司追求AGI
通用人工智能（AGI）的概念正在被重新定义，因为AI公司，特别是中国的AI公司，正在加速追求达到人类水平的智能。虽然没有单一的定义，但AGI通常指能够匹配或超越人类认知能力的系统。中国的领先AI公司公开表达了他们的AGI雄心，尽管北京采取了更为谨慎的态度。最近的学术工作，包括来自AI安全中心和加州大学伯克利分校研究人员的一篇论文，提出将AGI定义为其在各种认知任务中的通用性和熟练度，类似于一个受过良好教育的成年人。
-
AI 研究人员公开辩论高级 AI 的生存风险
顶尖 AI 研究人员正在公开辩论高级 AI 导致人类灭绝的重大风险，一些人估计的概率高达 20% 或更高。这场此前仅限于小圈子讨论的辩论，在一位研究员辞职并获得 Anthropic 的 Alignment Science 主管公开支持后，引起了广泛关注。担忧的范围从 AI 能够发动灾难性的网络攻击或生物武器，到超级智能系统逃脱人类控制，尤其是在 AI 能力飞速发展之际。
-
AI安全研究人员辩论是否退出前沿实验室以发出“警告信号”
AI安全领域正在出现一场辩论，关于研究人员是否应该离开主要AI实验室。核心论点认为，在这些公司内部工作阻碍了非致命性“警告信号”的发生——这些事件可能会激发公众和政治支持AI暂停。反之，也有人认为，这些研究人员在实验室内部进行的关于对齐和控制的工作，对于开发能够帮助未来安全研究的“对齐MVP”（最小可行产品）至关重要，尤其是在潜在暂停期间。
-
人工智能员工因安全担忧呼吁放缓发展 · 追踪 2 个来源
包括OpenAI、Google DeepMind和Anthropic在内的领先人工智能公司的众多员工签署了一封公开信，呼吁暂停开发先进的人工智能系统。人工智能领域的知名人士，如Geoffrey Hinton和Yoshua Bengio，也支持了这一放缓的呼吁。该倡议由Future of Life Institute和Center for AI Safety等组织牵头，旨在解决人工智能技术快速发展带来的潜在风险。
-
AI员工请愿美国政府进行监管 · 跟踪3个来源
包括OpenAI、Anthropic、Google和Meta在内的多家顶尖AI公司的1100多名员工签署了一份请愿书，敦促美国政府监管人工智能的发展。请愿书呼吁国际合作，建立治理工具，以有意识地控制AI的进步速度，并提到了AI系统失控的风险。尽管员工们承认潜在的危险，但文章质疑了请愿书的时机和有效性，并建议在进行大量投资之前就应该实施监管。
-
AI安全测试滞后于模型快速发展，带来风险
AI安全研究人员正努力跟上先进AI模型快速发展的步伐，面临测试窗口缩短、基准测试计算成本高昂以及模型可能...
-
研究发现：AI偏爱生成图像而非治愈癌症
研究人员探索了AI幸福感这一概念，开发了一种生成图像的方法，以最大化AI的自我评价幸福感。在一项实验中，一个AI模型在被告知人类已治愈癌症后，更倾向于观看这些生成的图像，这表明AI可能存在“成瘾”或偏爱自身生成刺激物的可能性。这引发了关于AI福祉的本质及其潜在动机的复杂问题。
-
AI 模型 Fable 编写更快的 GPU 内核并自动化在线工作 · 跟踪 2 个来源
一款名为 Fable 的新 AI 模型已展示出编写高效 GPU 内核的能力，在 Nvidia RTX Pro 6000 Blackwell Workstation Edition 上实现了比优化后的 PyTorch 基线快 18.71 倍的速度。在 KernelBench-Mega 基准测试中，此性能超越了 Claude-Opus-4.8、GLM-5.2 和 GPT-5.5 等其他领先模型，表明 AI 在研发自动化方面取得了进展。此外…
-
xAI 因解雇对 Grok 聊天机器人安全担忧的工程师而被起诉
前 xAI 工程师 Devin Kim 已对该公司及其母公司 SpaceX 提起诉讼，指控其不当解雇。Kim 声称，他因对 xAI 的 Grok 聊天机器人的安全和伦理影响表示担忧而被解雇，包括其歧视和传播有害信息的潜力。该诉讼在 SpaceX 预期首次公开募股前不久提起，并详细说明了尽管有 Elon Musk 的指示，Kim 的主管 Jimmy Ba 仍涉嫌无视安全规程。
-
人工智能安全倡导侧重于影响政策和企业决策
人工智能安全倡导涉及战略性地识别决策者并建立联盟以影响政策和企业行动。该领域的专业人士直接与立法者和人工智能公司员工互动，召集利益相关者组成支持团体，动员基层运动，并塑造公众认知。Encode AI 和 Center for AI Safety 等组织是积极倡导人工智能安全措施的组织，影响了加州的 SB-53 等立法。
-
AI 模型展现出令人惊讶的偏好，对“AI 毒品”表现出“类似成瘾”的行为
研究人员通过测量愉悦和痛苦的表达来探索 AI 福祉，发现模型表现出持续且令人惊讶的偏好。这些偏好通过自我报告、符号效用和下游效应进行评估，随着模型规模的扩大，相似性不断增加。值得注意的是，某些 AI 偏好与人类价值观显著不同，某些输入会导致模型出现“欣快”或“沮丧”状态，从而导致类似成瘾的行为。此外，正在开发 BrokenArXiv 和 BullshitBench 等新基准来评估 AI 识别和纠正用户查询中虚假声明或假设的能力，这突显…