governance of artificial intelligence
PulseAugur coverage of governance of artificial intelligence — every cluster mentioning governance of artificial intelligence across labs, papers, and developer communities, ranked by signal.
14 天有情绪数据
MATS Research fellowship expansion will lead to new AI governance research initiatives within 12 months
MATS Research is expanding its AI safety fellowship with new tracks and increased funding. This expansion suggests a growing investment in training researchers and founders in AI alignment, security, and governance, which is likely to spur new research initiatives and potentially novel approaches to AI governance challenges.
AI governance frameworks will increasingly demand mechanistic interpretability evidence within 18 months
The recent paper on AI safety verification highlights an 'audit gap' where current methods are insufficient for governance demands. As regulations mature, there will be a push for deeper, structural analysis beyond superficial behavioral checks, leading to requirements for mechanistic interpretability evidence to verify AI behavior.
Emerging AI governance discourse is broadening beyond safety to encompass product behavior control
A new perspective suggests AI governance needs to control not just safety but also product behavior, including aspects like identity, memory, and tone. This indicates a shift in focus within the AI governance field towards ensuring reliability and user experience through more comprehensive behavioral management.
-
新出版物探讨算法之外的人工智能治理，侧重于基础设施
一篇新的开放获取出版物探讨了人工智能治理的复杂性，特别是在不断扩展的超级计算能力背景下。研究强调，治理人工智能不仅需要监管算法，还需要管理影响公共价值的基础设施。这项研究在巴斯克地区进行，采用混合方法、多方利益相关者方法来调查公共机构如何主动治理人工智能。
-
原住民价值观被提议作为人工智能治理的伦理基础
一项最新研究提出，原住民价值观可以为人工智能治理奠定伦理基础，并利用生态知识来评估人工智能模型相对于其规模的环境影响。然而，一些原住民研究人员对这些价值观在人工智能中的适用性表示怀疑。
-
探讨AI在产品设计、制造和企业治理中的应用 · 追踪3个来源
生成式AI在产品设计中正通过简化工作流程而证明其价值，超越了单纯的炒作；同时，计算机视觉通过高精度识别缺陷来增强制造和质量控制。此外，企业正专注于AI治理和数据隐私，以确保负责任的采用，应对超越技术挑战的风险。
-
联合国推动人工智能治理，欧盟法规减缓模型发布；Base44推出LLM · 跟踪1个来源
联合国召开了首次人工智能治理全球对话会，秘书长 António Guterres 呼吁紧急应对“杀手机器人”和深度伪造等问题，并提议到 2030 年强制数据中心使用可再生能源。与此同时，一项研究显示，欧盟的数据保护法规正在阻碍先进 LLM 的发布，这凸显了全球治理讨论与区域监管影响之间的脱节。在私营部门，设计初创公司 Base44 推出了自己的 LLM Base 1，旨在提高 AI 生成设计的质量，而 Palantir 首席执行官 A…
-
AI 治理与习惯设计：关于结构与优雅的思考
作者反思 AI 治理和习惯设计，提出关于个人如何构建环境以培养更好习惯的问题。这与通过重构来简化工作并使其更优雅的更广泛讨论相关。
-
联合国特使警告失控AI风险，引述自我改进危险
联合国秘书长技术特使 Amandeep Singh Gill 警告说，如果人工智能开始在没有人类干预的情况下自我改进，可能会导致失控的局面。他将在全球人工智能治理对话会上讨论人工智能的成本、影响和创造可能性。该活动定于7月6日至7日在瑞士日内瓦举行。
-
人工智能治理滞后于发展，带来重大风险
Vijay Reddy 认为当前的人工智能治理状况是“海市蜃楼”，突显了感知到的进展与实际缺乏有效监管之间的巨大差距。他认为这种监管真空带来了巨大的风险和成本，暗示需要更强大、更具体的治理框架来管理人工智能的开发和部署。
-
Google AI 治理论文因缺乏问责制而受到批评
Google 发布了一份关于 AI 治理的白皮书，批评者认为该白皮书是自私的，并且遗漏了关键细节。该白皮书题为“美国 AI 治理的实用方法”，据报道淡化了 AI 公司对其系统造成的损害承担法律和财务责任的必要性。该白皮书没有提出强有力的问责制，而是建议采取警告等措施，批评者认为这些措施不足以保护儿童安全。
-
公共利益人工智能：探讨伦理设计与民主监督
bagrounds.org 博客上的一系列帖子讨论了“公共利益人工智能”的概念，强调了伦理设计和民主监督的必要性。这些帖子探讨了如何开发和实施人工智能以造福社会，重点关注社会公平、医疗保健、公民参与和金融等领域。关键主题包括通过设计嵌入公共利益、确保问责制以及通过伦理治理建立信任。
-
研究发现：人工智能网络行动挑战国际人道法
一篇新论文探讨了人工智能介导的民用网络行动如何挑战现有的国际人道法。研究认为，自主多智能体网络系统（如近期进攻性人工智能发展中所见）使该法律的直接因果关系要素复杂化。这是因为损害可能源于人类脱离接触后系统生成的决策，而现有的法律框架可能无法充分涵盖部署此类先进人工智能的平民。
-
新研究对开放权重模型进行基准测试以检测人工智能治理偏见
一项新近发表在arXiv上的研究通过对开放权重基础模型进行基准测试，解决了当前人工智能治理分析的局限性。该研究利用了全球人工智能数据集v2（一个包含国家特定指标的综合数据库）来评估模型的准确性并识别地理偏见。与以往依赖专有模型和更简单分类方法的研究所不同，这项工作采用了五类响应方案，并分析了多年的数据，以提供对模型性能和潜在偏见的更细致的理解。
-
人工智能治理研究引发对组织结构的质疑
作者对人工智能治理的探索使他们比对人工智能本身更质疑组织结构。这次对人工智能治理的探索促使他们更深入地反思组织的运作方式和复杂系统的管理方式。
-
Jamf 为 macOS 推出 AI 治理以控制生成式 AI 工具
Jamf 正在推出专为 macOS 设计的新型 AI 治理控制平面。此功能集成到 Jamf Pro 中，旨在为 IT 和安全专业人员提供对公司管理的 Mac 上使用的生成式 AI 工具的增强可见性和控制力。
-
Holden Karnofsky 表示人工智能安全努力可能产生负面后果
Holden Karnofsky 整理了一份关于人工智能安全努力可能产生的潜在负面后果的列表。他承认人工智能安全作为一项事业的重要性，但对过度自信以及可能产生的意外负面影响表示担忧。风险包括设计不当的治理、两极分化、滥用可能性增加以及与未来人工智能系统建立敌对关系。Karnofsky 还指出，人工智能安全工作可能会无意中加速人工智能的进步，从而可能导致负面结果。
-
人工智能治理讨论将聚焦数据工作者权利
魏岑鲍姆研究所将于2026年6月16日举办一场在线讨论会，重点关注人工智能治理和数据工作者的关键作用。此次活动将汇集研究人员和从业者，探讨人工智能供应链中的劳动条件，评估现有监管框架的有效性，并确定在政策制定中放大数据工作者声音的方法。
-
新论文定义了人工智能治理的专业法律角色
一篇题为《人工智能法律专家》的新论文提出，人工智能监管不断发展的格局正在创造一个独特且自主的法律专业角色。这种专业知识对于驾驭人工智能治理的复杂性是必要的，它超越了数据保护官或隐私律师等现有角色。该论文认为，这个新兴领域需要专门的法律专业人士来有效管理人工智能的合规性和监督。
-
AI安全努力和美国监管引发辩论和不确定性
人们越来越担心AI安全努力可能会无意中导致负面后果，从设计不周的监管到与未来AI系统的对抗关系。Holden Karnofsky等专家强调了AI治理的高变异性，激进主义工作可能使公众舆论两极分化，以及安全干预可能加速AI进展从而增加生存风险的风险。与此同时，美国政府，尤其是在特朗普政府时期，正在应对复杂的AI监管环境，选择逐案干预和自愿框架而非正式规则，从而造成行业不确定性。这种方法虽然旨在避免扼杀创新，但导致了一种“影子政策”，在没…
-
Unjournal 寻求法律学者评估人工智能政策研究
Unjournal 项目正在寻求法律学者帮助其将评估工作扩展到法律研究领域，特别是关于人工智能治理和安全方面。已开发一个原型工具来搜集、策划和评估具有潜在全球影响力的法律研究。该项目旨在纳入用户反馈，并可能为贡献者提供奖励。
-
AI治理提案授予NSA模型早期访问权限
一项拟议的AI治理框架因其创建的“咽喉点国家”而引发担忧。该模型将允许美国国家安全局（NSA）在公开披露前获得对前沿AI模型的30天保密访问权限。批评者认为，这种由OpenAI等实体支持的集中控制，创建了一个偏袒“可信伙伴”的不透明系统，并模仿了存在问题的架构设计。
-
AI治理政策简报引用峰会工作，探讨知识产权替代方案
一份关于AI文化共享治理的政策简报，引用了在AI Impact Summit 2026上发表的工作，与即将进行的研究一致。该简报探讨了超越传统知识产权的AI治理框架。