governance of artificial intelligence
PulseAugur coverage of governance of artificial intelligence — every cluster mentioning governance of artificial intelligence across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
MATS Research fellowship expansion will lead to new AI governance research initiatives within 12 months
MATS Research is expanding its AI safety fellowship with new tracks and increased funding. This expansion suggests a growing investment in training researchers and founders in AI alignment, security, and governance, which is likely to spur new research initiatives and potentially novel approaches to AI governance challenges.
AI governance frameworks will increasingly demand mechanistic interpretability evidence within 18 months
The recent paper on AI safety verification highlights an 'audit gap' where current methods are insufficient for governance demands. As regulations mature, there will be a push for deeper, structural analysis beyond superficial behavioral checks, leading to requirements for mechanistic interpretability evidence to verify AI behavior.
Emerging AI governance discourse is broadening beyond safety to encompass product behavior control
A new perspective suggests AI governance needs to control not just safety but also product behavior, including aspects like identity, memory, and tone. This indicates a shift in focus within the AI governance field towards ensuring reliability and user experience through more comprehensive behavioral management.
-
AI治理要求提供防篡改的审计追踪，而非简单的日志
传统的应用程序日志侧重于“发生了什么”，但AI系统，特别是自主代理，需要更强大的治理。这些系统可以调用工具、访问敏感数据并做出决策，如果日志可以被篡改，它们的行为就难以信任。因此，AI治理必须通过防篡改的审计追踪来建立完整性、问责制、可追溯性、授权和可审计性，而不是仅仅依赖标准日志。这确保了对历史记录未经授权的修改是可检测的，从而为AI系统的行为提供可靠的证据。
-
Agentic AI架构提出在调用大型语言模型前进行数据清理
作者提出了一种用于Agentic AI系统的“数据出口边界”方法，以防止敏感信息被发送到大型语言模型（LLMs）。这包括在数据被检索增强生成（RAG）或嵌入模型处理之前实现一个清理层。提出的架构包括清理原始数据、验证数据，然后将其输入到RAG或大型语言模型中，并制定了严格的规则，如果在清理后仍检测到API密钥或持有者令牌等敏感数据，则避免调用模型。这种架构方法旨在为大型语言模型提供必要的上下文，而不会暴露不必要的敏感细节，从而加强AI治理。
-
专家警告：联合国忽视了人工智能对选举的潜在风险
近期在日内瓦举行的一次关于人工智能治理的联合国对话，在很大程度上忽视了人工智能对选举构成的重大风险，反而侧重于虚假信息和深度伪造。专家警告说，更深层次的威胁在于人工智能被整合到管理选举的核心系统中，例如选民核实和数据管理。印度在Aadhaar国家身份数据库及其有缺陷的机器学习算法方面的经验，凸显了人工智能可能导致数百万选民被排除在外，以及将选举权力转移给不透明的私有系统。
-
AI治理审计显示78%的领导者存在关键文档缺失
最近的一项调查表明，78%的高级业务领导者对其组织在90天内通过AI治理审计的能力缺乏信心。尽管许多公司已经开发了复杂的AI项目和团队，但他们在提供治理实践的文档证据方面却举步维艰，而这对于审计师、客户和监管机构至关重要。国际标准ISO 42001要求提供大量文档来证明其符合38项控制措施，而AWS、Anthropic和OpenAI等主要AI供应商已在寻求或获得认证，这使其成为开展业务的基准要求。
-
人工智能治理在数据访问和监控方面面临挑战
人工智能治理正面临严峻挑战，因为缺乏强大的监控和数据管理能力。虽然组织可以定义人工智能模型应如何运行，但它们难以追溯人工智能代理的输出与其访问和被授权使用的数据之间的联系。这种差距使得强制执行和证明治理政策的合规性变得困难，尤其是在人工智能代理获得更广泛的企业数据访问权限时。目前对模型行为的关注不足，因为主要风险现在在于数据层以及授予人工智能代理的访问权限。
-
作者认为AI危机可能激发政治意愿以进行治理
作者提出，可以利用人工智能带来的生存风险来激发公众和政治支持，以建立健全的AI治理体系。该策略建议，通过强调潜在的AI驱动危机，社会可能更倾向于实施必要的法规和安全措施。该论点围绕着这样一个观点展开：当恐惧和紧迫感指向像AI这样的切实威胁时，可以克服政治惰性和变革阻力。
-
布鲁金斯学会专家：美国国会需要新的联邦人工智能治理法
布鲁金斯学会的Mark MacCarthy认为，美国国会需要制定一项专门针对人工智能治理的新联邦立法。他强调，现有的法律框架不足以应对人工智能技术带来的独特挑战和快速发展。文章提出，制定一项全面的联邦法律对于建立明确的指导方针并确保人工智能的负责任开发和部署至关重要。
-
人工智能治理：实施政策测试和争端解决
人工智能治理的实施是一个复杂的过程，需要仔细考虑法律和政策框架。建立解决人工智能争端的机制并确保法律补救是此实施中的关键步骤。这包括测试政策和解决与算法决策及潜在赔偿相关的问题。
-
Red Hat、NVIDIA、IBM 推出开源项目，以自动化 AI 策略到代码的流程
Red Hat 推出了 asago，一个旨在将 AI 治理策略转化为可执行代码的开源项目。该项目得到了 NVIDIA、IBM、Microsoft 等公司的支持，自动化了将策略映射到 NIST AI RMF 和欧盟 AI 法案等风险框架的过程。该项目通过风险映射、基于场景的测试和缓解建议进行推进，最终为混合云和 Kubernetes 环境生成可部署的配置。目标是显著缩短从策略定义到实施控制的时间，确保 AI 系统的持续可审计性和合规性。
-
近期博文探讨AI治理与法律问责
两篇近期博文讨论了AI治理和问责的复杂性。第一篇博文（日期为2026年7月29日）侧重于在快速变化的世界中实施AI治理，探讨如何通过救济机制和监管沙盒来修复AI造成的损害。第二篇博文（日期为2026年7月27日）深入探讨了AI相关的法律挑战，特别是在人权和国际法的背景下解决问责与救济问题。
-
习近平在WAIC上呼吁开源人工智能治理 · 跟踪到2个来源
中国国家主席习近平在世界人工智能大会（WAIC）上强调了开源人工智能治理的重要性。他强调了中国致力于为人工智能发展和监管营造开放协作的环境。重点是建立人工智能的全球规范和标准，以确保其负责任和有益的使用。
-
数字身份、央行数字货币、人工智能治理汇聚成全球控制基础设施
一份档案研究了独立的数字身份、央行数字货币、健康监测、人工智能治理、病原体监测和神经技术系统如何汇聚。这些不同的技术正在以兼容的基础设施构建，可能实现一个统一的全球控制系统。报告强调了这一新兴基础设施所缺乏的保障措施和资金结构。
-
一位70年资深人士就人工智能治理的紧迫性提出看法
一位经验丰富的资深人士就人工智能治理提出了看法，强调人类正面临着决定人工智能未来发展方向的关键时刻。作者强调，在决策权仍掌握在人类手中时，建立治理框架的紧迫性。
-
Moonshot AI 寻求香港上市；世界人工智能大会展示人工智能安全与应用
据报道，Moonshot AI 正在为未来六个月内在香港进行首次公开募股（IPO）做准备，这是这家人工智能公司迈出的重要一步。该公司已告知投资者有关重组以促进此次公开募股的努力。与此同时，在上海举行的世界人工智能大会（WAIC）上，发布了多份人工智能安全与治理报告，并展示了人工智能在医疗保健和 B2B 支付领域的应用进展。
-
人工智能信任与治理在国家安全、伦理和政策领域得到探讨 · 已追踪 4 个来源
Mastodon 账户 @bagrounds 的一系列帖子探讨了建立公众对人工智能信任的多方面挑战。讨论深入到国家安全、伦理原则、全球治理和算法透明度等关键领域。主要主题包括人工智能需要安全、值得信赖和透明，同时也要考虑其开发和部署中的文化细微差别和民主监督。
-
探讨人工智能在政策和审议式民主中的作用
探讨了“集体智慧的真正财富”这一概念，重点关注人工智能如何影响政策和治理。讨论强调了人工智能作为动态道德指南针的潜力，特别是在审议式民主和算法素养的框架内。它还触及了人工智能法律的制定和包容性治理。
-
联合国人工智能治理全球对话包含AILearningLabs
联合国正在就人工智能治理展开全球对话，AILearningLabs参与其中，旨在促进组织和政府的人工智能技能和负责任的使用。该倡议旨在帮助实体开发自己的人工智能项目并驾驭人工智能的复杂性。
-
组织在自主代理兴起之际，在人工智能治理方面面临挑战
组织在为人工智能建立有效的治理框架方面面临挑战，尤其是在自主代理兴起之际。Cyberintelligence 的一份新简报强调了管理这些先进人工智能系统所涉及的复杂性。此外，一个提议的成熟度模型旨在为治理自主人工智能的身份提供一种结构化方法。
-
AI 控制平面：AI 代理的实时治理层
AI 控制平面是一个治理层，旨在管理和执行 AI 代理、模型及其相关工具的策略。该层实时运行，以决定代理被允许采取哪些操作，强制执行这些决定，并记录结果。与报告过去操作的简单可观测性仪表板不同，控制平面在代理操作发生之前进行干预，防止潜在损害并确保遵守定义的策略。这一概念借鉴了网络领域的类比，在网络领域，控制平面决定流量路由，而数据平面则执行数据包的移动。
-
AI治理专家：护栏应减少摩擦，而非增加摩擦
Sarah Wells 在一次播客中强调，有效的 AI 治理应简化流程而非阻碍流程。她指出，虽然 AI agents 可以高效地生成代码，但经验丰富的工程师在设定架构限制和监督 AI 的自我批评能力方面仍然至关重要。这种方法确保了 AI 开发既可扩展又健壮。