safety
PulseAugur coverage of safety — every cluster mentioning safety across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
在追求通用人工智能（AGI）之际，OpenAI 流失 3 位关键人工智能安全领域领导者
在最近几周内，三位杰出的人工智能安全领域领导者离开了 OpenAI，这引发了人们对该公司在追求通用人工智能（AGI）过程中对安全承诺的担忧。Superalignment 团队的联合负责人 Jan Leike 辞职，他表示“安全与功能和产品之间的文化”以及安全考虑常常被快速开发所忽视。他的离职紧随 OpenAI 前首席科学家兼联合创始人 Ilya Sutskever 之后，以及著名人工智能研究员 Geoffrey Hinton（他离开 …
-
Google 发布 Gemini Robotics 2.0，提升灵活性和安全性
Google 发布了 Gemini Robotics 2.0，这是其人工智能驱动的机器人计划的又一进展。新版本专注于提高机器人的灵活性和安全性。该开发旨在使机器人能够以更高的精度执行更复杂的物理任务，并降低事故风险。
-
研究：训练时长影响大型语言模型合并效果
一篇新的研究论文探讨了专家训练时长对将多个专家模型合并成一个更强大的大型语言模型的效果的影响。该研究挑战了在模型达到最佳验证损失时进行合并的标准做法，发现某些合并方法，特别是基于稀疏化的方法，在专家训练超出此点后表现更好。这表明应联合考虑训练时长和合并方法的选择以获得最佳结果，这与随机森林中高方差学习者的益处有相似之处。
-
MAESTRO框架通过模拟专家依赖性来改进MoE模型剪枝
研究人员开发了MAESTRO，一个新颖的结构化剪枝框架，旨在解决Mixture-of-Experts (MoE)语言模型的部署瓶颈。与使用局部启发式方法的先前技术不同，MAESTRO将专家激活轨迹建模为马尔可夫链，以捕捉跨层依赖性，提供全局感知的关键度启发式。该方法显著提高了性能保持率，在50%压缩机制下，性能优于现有方法高达10.61%，并在安全、偏见和伦理等多样化任务中展现出更一致的泛化能力。
-
新的Sentinel管道审计AI代理MCP服务器的安全风险
一个名为Sentinel的新审计管道已被开发出来，用于保护模型上下文协议（MCP）服务器，这些服务器允许AI代理与外部工具进行交互。该管道采用六层方法，首先对源代码进行静态分析，检查已知漏洞、许可证合规性和硬编码的秘密。然后进行基于模式的行为分析和一个主动探测，发送对抗性输入以检测潜在的数据泄露、命令注入或SSRF漏洞。最后，它利用gVisor沙箱将MCP服务器与主机内核隔离，防止内核级别的攻击。
-
稀疏自编码器：AI可解释性的希望与陷阱
研究人员正在探索稀疏自编码器（SAE）用于机制可解释性，旨在揭示大型语言模型中的不同概念。一种新方法，结构化稀疏自编码器（$S^2AE$），通过对图像块进行分组并应用结构化稀疏正则化，提高了视觉-语言模型中的概念一致性。另一项研究强调了正确设置SAE中L0超参数的关键重要性，因为不正确的值可能导致特征无法解开底层模型概念。此外，一篇观点论文认为，虽然SAE可能在已知概念方面遇到困难，但它们在发现未知概念方面非常强大，在公平性、安全性和…
-
新的自动驾驶模型使用世界模型进行更安全、更鲁棒的规划 · 跟踪 2 个来源
两篇新的研究论文介绍了用于端到端自动驾驶的先进世界建模技术。OWMDrive 专注于 4D 占用世界模型，用于多步 3D 占用预测，以指导基于扩散的规划，旨在实现更具前瞻性和鲁棒性的轨迹生成，尤其是在挑战性场景中。ExploreVLA 将世界建模与强化学习相结合，以实现超越专家演示的策略探索，使用未来图像生成作为密集世界建模目标和新颖性检测的内在奖励信号。
-
OpenAI 的人工智能垄断地位受到内部纷争和竞争的威胁
一篇 Reddit 帖子讨论了 OpenAI 可能因内部问题和竞争而失去其人工智能垄断地位。该帖子强调了对公司方向的担忧，提到了 Jan Leike 和 Ilya Sutskever 等关键人物的离职，并将 OpenAI 的状况与 Microsoft 和 Google 等竞争对手进行了对比。帖子认为，内部冲突和对安全优先事项的偏离可能会损害 OpenAI 的领先地位。