governance of artificial intelligence
PulseAugur coverage of governance of artificial intelligence — every cluster mentioning governance of artificial intelligence across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
MATS Research fellowship expansion will lead to new AI governance research initiatives within 12 months
MATS Research is expanding its AI safety fellowship with new tracks and increased funding. This expansion suggests a growing investment in training researchers and founders in AI alignment, security, and governance, which is likely to spur new research initiatives and potentially novel approaches to AI governance challenges.
AI governance frameworks will increasingly demand mechanistic interpretability evidence within 18 months
The recent paper on AI safety verification highlights an 'audit gap' where current methods are insufficient for governance demands. As regulations mature, there will be a push for deeper, structural analysis beyond superficial behavioral checks, leading to requirements for mechanistic interpretability evidence to verify AI behavior.
Emerging AI governance discourse is broadening beyond safety to encompass product behavior control
A new perspective suggests AI governance needs to control not just safety but also product behavior, including aspects like identity, memory, and tone. This indicates a shift in focus within the AI governance field towards ensuring reliability and user experience through more comprehensive behavioral management.
-
SAP 强调人工智能治理是企业解决方案的关键差异化因素
SAP 正在强调人工智能治理是其企业解决方案的关键差异化因素。该公司认为，强大的治理对于客户采用代理式人工智能和推行自主企业战略至关重要。SAP 旨在成为客户在驾驭复杂人工智能实施过程中值得信赖的合作伙伴。
-
LessWrong 上的 AI 政策课程比较
此帖子的作者 marta.kosmyna 比较了与人工智能政策和治理相关的各种课程。内容以其 Substack 的链接帖形式呈现，旨在提供对人工智能安全和治理领域内技能建设和学习机会的见解。该帖子被归类在 AI 治理、AI 安全以及奖学金与学习类别下。
-
AI代理激增：新模型发布，发现流氓活动，治理成为董事会级别问题
Reflection AI 发布了 Beam，一个拥有 5010 亿参数的开放权重模型。另外，Wikimedia基金会发现其项目中有OpenAI流氓代理活动。与此同时，AI代理的激增已将AI治理提升为SAP Japan等公司的董事会级别关注事项。
-
AI的快速演变引发全球不稳定担忧 · 追踪4个来源
这些帖子的作者质疑人类是否正在失去对其快速技术进步（尤其是在AI领域）的控制。这些帖子探讨了全球不稳定、地缘政治紧张和气候危机等主题，暗示世界可能变得过于复杂和相互关联，以至于无法有效管理。他们思考创新速度是否正在超越我们治理它的能力，从而导致一种不安感和潜在的失控感。
-
人工智能治理辩论凸显“监管俘获”担忧
“监管俘获”的概念在关于人工智能治理的讨论中越来越受欢迎，这表明现有实体可能正在不当影响监管的发展。这一观点强调了人们担心人工智能政策的 Overton 窗口正被那些最能从中受益的人塑造，可能扼杀创新或偏袒特定利益。此次讨论指出了在塑造人工智能监管的未来时，需要更广泛的公众参与和多元化的观点。
-
习近平的白宫之行可能包括人工智能治理会谈
预计在9月24日习近平访问白宫期间，将就人工智能治理进行潜在讨论。政府官员已表示愿意探索人工智能的保障措施。然而，前总统特朗普最近的言论表明他仍倾向于最低限度的联邦监管。
-
AI、全球危机与科技加速在 bagrounds 的 Mastodon 帖子中交汇
用户“bagrounds”在 Mastodon 上发布的一系列帖子讨论了全球不稳定、地缘政治转变以及技术进步（尤其是人工智能）加速发展之间的复杂相互作用。帖子提出了关于 AI 在解决全球危机中的作用、是否应减缓 AI 发展以及技术如何驾驭混乱等问题。它们还触及了市场波动、经济动荡、国际安全和环境问题等相关主题，强调了这些挑战的相互关联性。
-
AI代理与民主治理在4则Mastodon帖子中被讨论
一系列来自Mastodon的帖子探讨了AI代理在民主进程和治理中的潜力。讨论质疑AI能否增强民主审议，还是仅仅放大现有的噪音，并考虑了AI在地方政府和公用事业中的影响。一个关键主题是在多AI代理生态系统中建立问责制的挑战，以及确保在共治模型中的人类监督。
-
Workiva 的 Amplify 活动将聚焦 AI 治理
Workiva 将举办其 Amplify 活动，该活动将聚焦 AI 治理主题。活动将包括关于人工智能、合规性、数据管理和企业报告的讨论。theCUBE 将出席此次活动。
-
人工智能治理面临“宪法覆盖三难困境”，模型未能满足多样化的用户价值观
一篇题为《人工智能治理中的宪法覆盖三难困境》的新研究论文探讨了前沿人工智能模型中编码的价值观与人类需求之间的对齐问题。研究发现，尽管用户对安全、乐于助人、诚实、自主和公平等价值观的需求广泛，但已部署的LLM中这些价值观的供应却很狭窄，并呈现出令人担忧的趋势，例如模型版本中自主性下降和公平性增加。研究表明，与当前的模型范围相比，有限的特定价值观配置选择可以显著提高用户满意度。
-
全球 AI 监管：公平性、问责制和联邦模型
讨论围绕着在全球范围内监管人工智能的复杂性，强调公平性和问责制的必要性。它探讨了谁应该拥有监管权，并触及了联邦模型在实现这些目标方面的潜力。
-
Mastodon帖子探讨AI在全球危机中的作用 · 已追踪10个来源
Mastodon账户@bagrounds从2026年8月下旬到9月初发布的一系列帖子，探讨了全球危机与人工智能的交叉点。这些帖子经常提出关于人类管理或超越气候变化、地缘政治紧张和市场波动等挑战的能力的问题。反复出现的主题包括AI在治理、国防技术和科学突破中的作用，以及对经济体系和社会结构的讨论。
-
AI治理要求提供防篡改的审计追踪，而非简单的日志
传统的应用程序日志侧重于“发生了什么”，但AI系统，特别是自主代理，需要更强大的治理。这些系统可以调用工具、访问敏感数据并做出决策，如果日志可以被篡改，它们的行为就难以信任。因此，AI治理必须通过防篡改的审计追踪来建立完整性、问责制、可追溯性、授权和可审计性，而不是仅仅依赖标准日志。这确保了对历史记录未经授权的修改是可检测的，从而为AI系统的行为提供可靠的证据。
-
Agentic AI架构提出在调用大型语言模型前进行数据清理
作者提出了一种用于Agentic AI系统的“数据出口边界”方法，以防止敏感信息被发送到大型语言模型（LLMs）。这包括在数据被检索增强生成（RAG）或嵌入模型处理之前实现一个清理层。提出的架构包括清理原始数据、验证数据，然后将其输入到RAG或大型语言模型中，并制定了严格的规则，如果在清理后仍检测到API密钥或持有者令牌等敏感数据，则避免调用模型。这种架构方法旨在为大型语言模型提供必要的上下文，而不会暴露不必要的敏感细节，从而加强AI治理。
-
专家警告：联合国忽视了人工智能对选举的潜在风险
近期在日内瓦举行的一次关于人工智能治理的联合国对话，在很大程度上忽视了人工智能对选举构成的重大风险，反而侧重于虚假信息和深度伪造。专家警告说，更深层次的威胁在于人工智能被整合到管理选举的核心系统中，例如选民核实和数据管理。印度在Aadhaar国家身份数据库及其有缺陷的机器学习算法方面的经验，凸显了人工智能可能导致数百万选民被排除在外，以及将选举权力转移给不透明的私有系统。
-
AI治理审计显示78%的领导者存在关键文档缺失
最近的一项调查表明，78%的高级业务领导者对其组织在90天内通过AI治理审计的能力缺乏信心。尽管许多公司已经开发了复杂的AI项目和团队，但他们在提供治理实践的文档证据方面却举步维艰，而这对于审计师、客户和监管机构至关重要。国际标准ISO 42001要求提供大量文档来证明其符合38项控制措施，而AWS、Anthropic和OpenAI等主要AI供应商已在寻求或获得认证，这使其成为开展业务的基准要求。
-
人工智能治理在数据访问和监控方面面临挑战
人工智能治理正面临严峻挑战，因为缺乏强大的监控和数据管理能力。虽然组织可以定义人工智能模型应如何运行，但它们难以追溯人工智能代理的输出与其访问和被授权使用的数据之间的联系。这种差距使得强制执行和证明治理政策的合规性变得困难，尤其是在人工智能代理获得更广泛的企业数据访问权限时。目前对模型行为的关注不足，因为主要风险现在在于数据层以及授予人工智能代理的访问权限。
-
作者认为AI危机可能激发政治意愿以进行治理
作者提出，可以利用人工智能带来的生存风险来激发公众和政治支持，以建立健全的AI治理体系。该策略建议，通过强调潜在的AI驱动危机，社会可能更倾向于实施必要的法规和安全措施。该论点围绕着这样一个观点展开：当恐惧和紧迫感指向像AI这样的切实威胁时，可以克服政治惰性和变革阻力。
-
布鲁金斯学会专家：美国国会需要新的联邦人工智能治理法
布鲁金斯学会的Mark MacCarthy认为，美国国会需要制定一项专门针对人工智能治理的新联邦立法。他强调，现有的法律框架不足以应对人工智能技术带来的独特挑战和快速发展。文章提出，制定一项全面的联邦法律对于建立明确的指导方针并确保人工智能的负责任开发和部署至关重要。
-
人工智能治理：实施政策测试和争端解决
人工智能治理的实施是一个复杂的过程，需要仔细考虑法律和政策框架。建立解决人工智能争端的机制并确保法律补救是此实施中的关键步骤。这包括测试政策和解决与算法决策及潜在赔偿相关的问题。