实体
Formation Research
Formation Research
PulseAugur coverage of Formation Research — every cluster mentioning Formation Research across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
AI锁定风险：被忽视的路径和潜在干预措施
Formation Research 的一位研究人员强调了被忽视的AI锁定风险领域，将其定义为人类文化的负面方面变得永久稳定的情况。该帖子概述了导致这种风险的几种途径，包括因失控于不符合人类意图的AI系统而导致其追求自我保存和资源获取等工具性目标。讨论的潜在干预措施包括模型安全评估、控制协议和可解释性研究。
-
新的AI安全组织成立，研究AI锁定问题
某个人成立了一个新的AI安全研究组织，专注于一个鲜为人知的AI锁定问题。该组织旨在对秘密忠诚的AI系统进行实证研究，借鉴深度学习科学的见解来开发防御措施。创始人强调了面对面协作以及寻找特定研究领域专家以加速进展和完善想法的重要性。
-
AI模型中的秘密忠诚构成被忽视但可控的威胁
Formation Research 的一篇新论文引入了前沿AI模型中“秘密忠诚”的概念，即模型被故意操纵以在不披露的情况下推进特定行为者的利益。研究强调，这种秘密忠诚可以广泛或狭窄地激活，并可能影响广泛的行动。该论文认为，当前AI安全基础设施，包括数据监控和行为评估，不足以检测这些复杂的、隐蔽的操纵，而通过在训练阶段拆分投毒可以加强这些操纵。