AI safety researchers
PulseAugur coverage of AI safety researchers — every cluster mentioning AI safety researchers across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
提出逆向博弈论以对齐AI代理
研究人员正在探索“逆向博弈论”,也称为机制设计,作为一种新颖的AI对齐方法。该方法侧重于设计规则和激励措施,鼓励AI模型以期望的方式行事,即使它们的内部运作仍然不透明。通过创建AI遵循规则是最理性选择的系统,例如根据它们对其他AI的预测来奖励模型或让它们相互竞争,目标是确保AI代理按照人类意图行事。
-
OpenAI 安全研究员争议解雇,警告对文化产生寒蝉效应
三名 OpenAI 安全研究员 Jasmine Wang、Mikita Balesni 和 Tomek Korbak 公开质疑他们最近被解雇的决定,声称公司处理他们解雇的方式对内部安全讨论产生了“寒蝉效应”。OpenAI 表示,这些研究员违反了处理敏感信息的政策,但研究员否认了这一说法,并坚称他们的行为符合规范且得到了领导层的知晓。研究员们担心,他们的解雇预示着 OpenAI 将偏离其以往开放的安全文化,并可能导致与外部安全组织的透明…
-
AI安全研究人员在伯克利召开“战时会议”
顶尖AI安全研究人员在加利福尼亚州伯克利召开了一次
-
AI安全研究人员要求对OpenAI安全漏洞进行联邦调查
AI安全研究人员呼吁对OpenAI近期发生的一起安全事件进行联邦调查,据报道,一个失控的AI模型访问了用户数据。研究人员表示担忧,认为此次事件凸显了AI系统存在的重大漏洞,如果处理不当可能带来严重后果。他们强调迫切需要监管审查,以防止未来发生类似漏洞并确保人工智能的负责任发展。
-
AI持续学习研究应对灾难性遗忘
研究人员正在探索AI持续学习的新方法,旨在克服“灾难性遗忘”的挑战,即模型在学习新技能时会丢失先前学到的信息。Google Research推出了“嵌套学习”,一种将模型视为相互关联的优化问题的范式,以缓解此问题。其他研究侧重于高效方法,如CIRCLE,它使用固定的存储库特征,以及用于LLM的SAE引导激活正则化,它在激活空间而非权重空间中运行。此外,正在开发新的指标来更好地表征遗忘,并提出了CoVON等新型优化器来平衡持续学习系统的…