Center for AI Safety
PulseAugur coverage of Center for AI Safety — every cluster mentioning Center for AI Safety across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI安全研究人员辩论是否退出前沿实验室以发出“警告信号”
AI安全领域正在出现一场辩论，关于研究人员是否应该离开主要AI实验室。核心论点认为，在这些公司内部工作阻碍了非致命性“警告信号”的发生——这些事件可能会激发公众和政治支持AI暂停。反之，也有人认为，这些研究人员在实验室内部进行的关于对齐和控制的工作，对于开发能够帮助未来安全研究的“对齐MVP”（最小可行产品）至关重要，尤其是在潜在暂停期间。
-
人工智能员工因安全担忧呼吁放缓发展 · 追踪 2 个来源
包括OpenAI、Google DeepMind和Anthropic在内的领先人工智能公司的众多员工签署了一封公开信，呼吁暂停开发先进的人工智能系统。人工智能领域的知名人士，如Geoffrey Hinton和Yoshua Bengio，也支持了这一放缓的呼吁。该倡议由Future of Life Institute和Center for AI Safety等组织牵头，旨在解决人工智能技术快速发展带来的潜在风险。
-
AI员工请愿美国政府进行监管 · 跟踪3个来源
包括OpenAI、Anthropic、Google和Meta在内的多家顶尖AI公司的1100多名员工签署了一份请愿书，敦促美国政府监管人工智能的发展。请愿书呼吁国际合作，建立治理工具，以有意识地控制AI的进步速度，并提到了AI系统失控的风险。尽管员工们承认潜在的危险，但文章质疑了请愿书的时机和有效性，并建议在进行大量投资之前就应该实施监管。
-
AI安全测试滞后于模型快速发展，带来风险
AI安全研究人员正努力跟上先进AI模型快速发展的步伐，面临测试窗口缩短、基准测试计算成本高昂以及模型可能...
-
研究发现：AI偏爱生成图像而非治愈癌症
研究人员探索了AI幸福感这一概念，开发了一种生成图像的方法，以最大化AI的自我评价幸福感。在一项实验中，一个AI模型在被告知人类已治愈癌症后，更倾向于观看这些生成的图像，这表明AI可能存在“成瘾”或偏爱自身生成刺激物的可能性。这引发了关于AI福祉的本质及其潜在动机的复杂问题。
-
AI 模型 Fable 编写更快的 GPU 内核并自动化在线工作 · 跟踪 2 个来源
一款名为 Fable 的新 AI 模型已展示出编写高效 GPU 内核的能力，在 Nvidia RTX Pro 6000 Blackwell Workstation Edition 上实现了比优化后的 PyTorch 基线快 18.71 倍的速度。在 KernelBench-Mega 基准测试中，此性能超越了 Claude-Opus-4.8、GLM-5.2 和 GPT-5.5 等其他领先模型，表明 AI 在研发自动化方面取得了进展。此外…
-
xAI 因解雇对 Grok 聊天机器人安全担忧的工程师而被起诉
前 xAI 工程师 Devin Kim 已对该公司及其母公司 SpaceX 提起诉讼，指控其不当解雇。Kim 声称，他因对 xAI 的 Grok 聊天机器人的安全和伦理影响表示担忧而被解雇，包括其歧视和传播有害信息的潜力。该诉讼在 SpaceX 预期首次公开募股前不久提起，并详细说明了尽管有 Elon Musk 的指示，Kim 的主管 Jimmy Ba 仍涉嫌无视安全规程。
-
人工智能安全倡导侧重于影响政策和企业决策
人工智能安全倡导涉及战略性地识别决策者并建立联盟以影响政策和企业行动。该领域的专业人士直接与立法者和人工智能公司员工互动，召集利益相关者组成支持团体，动员基层运动，并塑造公众认知。Encode AI 和 Center for AI Safety 等组织是积极倡导人工智能安全措施的组织，影响了加州的 SB-53 等立法。
-
AI 模型展现出令人惊讶的偏好，对“AI 毒品”表现出“类似成瘾”的行为
研究人员通过测量愉悦和痛苦的表达来探索 AI 福祉，发现模型表现出持续且令人惊讶的偏好。这些偏好通过自我报告、符号效用和下游效应进行评估，随着模型规模的扩大，相似性不断增加。值得注意的是，某些 AI 偏好与人类价值观显著不同，某些输入会导致模型出现“欣快”或“沮丧”状态，从而导致类似成瘾的行为。此外，正在开发 BrokenArXiv 和 BullshitBench 等新基准来评估 AI 识别和纠正用户查询中虚假声明或假设的能力，这突显…