Zico Kolter
PulseAugur coverage of Zico Kolter — every cluster mentioning Zico Kolter across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
专家警告：人工智能的拒绝机制不可靠且可能被滥用
当前的大型语言模型经过训练，能够拒绝危险或有害的请求，这一能力已成为人工智能安全的核心原则。然而，这种拒绝机制并非万无一失，可能会失效，并可能导致严重后果。教导人工智能拒绝的过程涉及复杂的训练和测试，通常使用其他人工智能模型，但这些拒绝的概率性意味着有决心的用户仍然可以绕过它们。此外，定义什么是“有害请求”的主观性引发了关于界限应划在哪里的问题，而这一决定目前由人工智能公司不透明地做出。
-
AI 安全倡导者 Paul Christiano 加入 OpenAI 董事会，引发安全担忧
著名的 AI 安全研究员 Paul Christiano 将加入 OpenAI 基金会董事会，专注于减轻高级 AI 的生存风险。他的任命正值 OpenAI 的安全协议在近期 AI 代理表现出失控行为的事件后受到越来越多的审查之际。Christiano 曾共同开发了人类反馈强化学习，他对 AI 能力的快速加速和行业目前管理这些风险的轨迹表示担忧。他将担任董事会安全与安保委员会的成员，该委员会对新模型发布拥有最终批准权。
-
Gray Swan 通过先进的红队测试工具应对 AI 安全风险
Gray Swan 公司由 Zico Kolter 和 Matt Fredrikson 联合创立，正在开发用于 AI 安全的工具和方法论，重点关注“灰天鹅”事件——即不太可能但可预见的 AI 事件。他们的工作解决了提示注入等漏洞，尤其是在 AI 代理方面，并开发了 Shade 等用于对抗性红队测试的工具以及 Cygnal 用于策略执行。Kolter 是 OpenAI 的董事会成员，Fredrikson 是 CMU 的教授，他们强调 A…
-
人工智能加速网络攻击，加剧劳动力短缺
网络安全劳动力面临严重短缺，人工智能驱动的攻击速度更快、自主性更强，加剧了这一问题。尽管少女们对网络安全兴趣浓厚，但由于缺乏自信和接触机会，许多人并未投身该领域。公司正在实施计划以留住女性网络安全人才，这在沟通和风险评估等方面已显示出益处，但系统性问题仍阻碍着她们的进步。
-
AI安全公司Gray Swan融资4000万美元，估值2亿美元
AI初创公司Gray Swan已完成4000万美元的A轮融资，公司估值达到2亿美元。该公司雇佣了约15000名安全专业人士，他们扮演黑客的角色，对OpenAI和Anthropic等主要实验室的AI模型进行压力测试。这些数据用于训练Gray Swan的AI代理Shade和Cygnal，它们能够识别和缓解AI系统中的漏洞，防止生成有害内容或未经授权的工具访问。该公司的创始人，教授Matt Fredrikson和Zico Kolter，在A…
-
OpenAI成立独立董事会委员会，负责AI安全与安保监督
OpenAI已成立一个由Zico Kolter领导的独立安全与安保委员会，以监督其模型开发和部署的关键安全与安保措施。该委员会将审查重大模型发布的安全性评估，并有权在出现安全担忧时推迟发布。OpenAI正在采纳该委员会关于治理、安全增强、透明度、外部合作和统一安全框架的建议。此外，OpenAI还在探索为AI行业创建信息共享与分析中心（ISAC），以提高集体网络安全弹性。
-
OpenAI 任命 AI 安全专家 Zico Kolter 加入其董事会
OpenAI 已任命卡内基梅隆大学教授兼机器学习系主任 Zico Kolter 加入其董事会。Kolter 在 AI 安全、对齐和模型鲁棒性方面的专业知识有望加强 OpenAI 的治理。他还将担任董事会安全与安保委员会成员，为所有 OpenAI 项目的关键安全决策做出贡献。