ISO/IEC 42001
PulseAugur coverage of ISO/IEC 42001 — every cluster mentioning ISO/IEC 42001 across labs, papers, and developer communities, ranked by signal.
- 2026-07-07 research_milestone The ISO/IEC 42001 standard, the world's first for Artificial Intelligence Management Systems, has been released. 来源
5 天有情绪数据
-
U-Space 框架为大语言模型添加置信度得分以增强 AI 安全性
一个名为 U-Space 的新框架已被开发出来，用于量化大语言模型 (LLM) 的不确定性，为其输出提供一个“置信度指示器”。该 U-Score 旨在标记可能不正确的回答，这对于金融、医疗和法律等高风险应用至关重要，因为在这些领域，幻觉可能导致严重后果。U-Space 技术在 arXiv 的一篇论文中进行了详细介绍，它通过测量多个模型完成之间的分歧并将此转化为可解释的分数来工作，从而使系统能够将不确定的答案路由给人工审查或添加免责声明。
-
ISO 42001 标准化RAG系统的数据质量
本文讨论了检索增强生成（RAG）系统中健全的数据质量和溯源的关键需求，并与传统软件开发进行了类比。文章强调了诸如混乱的文档格式、不准确的解析和过时信息等挑战，这些都可能导致AI生成的答案出现缺陷。作者提出了一种基于ISO/IEC 42001标准（特别是附录A.7）的可操作化方法，该标准规定了数据质量和准备的控制措施。该方法将平台工程团队（确保平台质量）和代理创建者（确保内容质量）的职责分开，并定义了四个关键维度：准确性、完整性、一致性和及时性。
-
新书为可防御的AI系统提供实用指导
Hernan Huwyler出版了一本新书，题为《构建可防御的AI系统：安全与合规》，面向首席AI官和其他专业人士。该书提供了关于实施AI风险管理框架、监管合规和审计就绪证据的实用指导，侧重于可量化的风险和可操作的控制，而非抽象概念。它涵盖了诸如基于美元的风险量化、遵守ISO/IEC 42001和NIST AI RMF等标准、欧盟AI法案文档以及AI代理和供应商控制的实际实施等主题。
-
AWS提供符合新ISO标准的AI治理工具
AWS正在提供工具和指导，帮助组织实施负责任的AI治理，并符合新的ISO/IEC 42005:2025标准。该公司强调AI系统影响评估的重要性，该评估用于识别和管理与AI部署相关的风险。AWS提供诸如Well-Architected Framework: Responsible AI Lens和ISO/IEC 42001实施指南等资源，以协助客户将这些评估整合到其更广泛的风险管理生态系统中。
-
VIDRAFT的AI安全平台获得阿里云ModelScope认证
韩国AI初创公司VIDRAFT已在阿里云的ModelScope平台（一个重要的开源AI模型社区）上获得了“研究机构”认证。此次认证使VIDRAFT与Qwen和上海人工智能实验室等知名实体并列。该公司现正将其AX-RAY AI安全诊断平台推向中国市场，该平台根据全球监管框架，在12个安全类别和117个风险项下评估模型。AX-RAY的初步调查结果显示普遍存在安全问题，尤其是在AI代理行为和小模型方面，45%的受评估模型获得了最低等级。
-
RSA Security 推出 Agent ID 以实现 AI 代理身份管理
RSA Security 推出了 Agent ID 平台，该平台旨在将 AI 代理和 MCP 服务器管理为独立的身份。该平台通过为这些 AI 实体分配命名所有者、风险分类和生命周期状态，来发现、保护和治理这些 AI 实体。Agent ID 包含用于发现已批准和影子代理的模块，通过细粒度授权在 AI/MCP 网关强制执行策略，并提供持续认证和基于风险的访问审查。此次发布响应了行业趋势和日益增长的 AI 相关法规所驱动的对 AI 监督日益增长的需求。
-
AI治理平台：超越仪表盘，成为必备合规工具
本文旨在为考虑采用AI治理平台的治理、风险和合规（GRC）领导者提供指导。文章强调，真正的治理系统不仅仅是政策或基本的企业AI许可证，它需要对所有使用的AI系统进行全面盘点，包括内部构建的模型、第三方工具和影子AI。该指南强调了此类盘点对于风险分级、遵守NIST AI风险管理框架和欧盟AI法案等法规框架，以及向审计师和领导层展示问责制的重要性。
-
AI治理差距在快速投资中构成董事会级别威胁
组织正在大力投资AI，预计全球投资将达到2.5万亿美元，但许多组织在部署这些技术时缺乏充分的治理、安全或问责制。这种快速采用与强有力监督之间的差距正成为董事会层面的重大担忧。世界各地的监管机构正在采取超过1000项政策举措作为回应，而在美国，各州正在制定自己的AI立法，特别关注就业工具和面向消费者的AI。
-
GATE v1.5 roadmap 预览 ISO/IEC 42001 映射和新功能
GATE v1.5 的路线图已发布预览，详细介绍了即将推出的功能，例如与 ISO/IEC 42001 标准的每个控制项映射。此版本还将包括流式感知输出验证和一个端到端的 ADK 参考实现。此外，GATE v1.5 将提供公共游乐场和进一步的模糊测试工作。
-
新的LLM生命周期模型优先考虑安全性而非效率
一篇新论文提出了一个面向安全的LLM系统生命周期模型，解决了现有框架中优先考虑运行效率而非安全性的不足。该模型围绕安全相关边界构建开发和运营，涵盖数据、模型、分发和应用层面的32个阶段，并由LLMOps和治理支柱支持。对当前监管环境的分析，包括NIST AI RMF和欧盟AI法案，显示治理证据集中在部署阶段，而关键决策在早期做出且监管可见度较低。
-
人工智能治理：连接自上而下的政策与自下而上的控制
人工智能治理正从两种不同的组织方法中涌现：自上而下的政策制定和人工智能团队内部的自下而上实施。一些公司设立了正式的委员会和政策，而另一些公司则发现治理实践已经融入其人工智能团队的日常运营中，例如在架构审查和模型评估方面。主要挑战在于将这些零散的、通常不相关的治理工作整合为一项统一的企业级战略。
-
新工具AIGen实现AI物料清单生成自动化
一篇新论文介绍AIGen，一个旨在自动化生成AI物料清单（AIBoMs）的工具。AIGen与MLflow等MLOps框架集成，并利用挖掘启发式方法和大型语言模型的组合来创建机器可读的AI系统组件清单。该工具支持Hugging Face、PyTorch和TensorFlow等各种AI框架，并采用插件架构以实现可扩展性。AIGen旨在促进遵守欧盟AI法案和NIST AI风险管理框架等法规。
-
通用人工智能兴起，公共部门人工智能治理框架面临失败风险
2026年7月28日发表的两篇新的arXiv论文强调了将现有AI治理框架应用于公共部门组织时面临的重大挑战，尤其是在通用人工智能（GPAI）兴起之际。第一篇论文提出了一种AI驱动的网络治理失败的类型学，以及一个关于问责制、运营韧性和合规性失败如何相互作用的模型，发现当前的框架如NIST CSF 2.0和ISO/IEC 27001不足以解决影子AI和治理真空等问题。第二篇论文聚焦于警务，认为GPAI的固有特性——通用性、可访问性和基于提…
-
全球标准化机构竞相制定人工智能指南
国际标准化组织，包括IEC、ISO和ITU，正致力于制定人工智能的指南和规范，以跟上其快速发展的步伐。这些自愿性标准旨在增强采用人工智能的公司的信任度、可融资性和竞争优势。关键举措包括针对人工智能管理体系的ISO/IEC 42000系列，以及通过JPEG Trust等标准（用于水印和元数据嵌入）来打击人工智能生成的信息。
-
首个AI管理体系国际标准ISO/IEC 42001发布
ISO/IEC 42001 标准已确立为世界上第一个人工智能管理体系 (AIMS) 国际框架。该标准为组织提供了一个结构化的方法来负责任地开发、部署和利用 AI 技术。它旨在帮助企业有效管理与 AI 相关的风险，确保满足道德考量，并保持法规遵从性，从而在创新与治理之间取得平衡。
-
新框架应对AI原生团队风险管理
一篇新研究论文提出了一个用于治理代理AI系统的组织框架，解决了传统软件风险管理的局限性。该论文引入了一个七维画像来区分软件工程、混合和AI原生团队，以及一个用于故障模式的六集群分类法。研究强调，随着团队向AI原生运营转型，风险覆盖范围会显著下降，最严重的故障发生在概率性AI输出与确定性系统交互的组织边界。
-
人工智能融入儿童玩具引发安全担忧，呼吁制定设计标准
英国标准协会（BSI）的一份新报告显示，一半的英国儿童拥有人工智能玩具或学习设备，Mattel、Hasbro和Lego等主要玩具公司正在大力投资人工智能的整合。这一趋势凸显了人工智能在从娱乐到医疗保健的各个方面日益普及。文章强调，在人工智能开发中，“设计即安全”的方法至关重要，确保人工智能集成产品在上市前经过严格的物理、心理和数据相关危害检查，并借鉴了成熟的实体产品安全框架。
-
新论文发现：AI代理给开源治理带来压力
一篇新研究论文探讨了将AI代理集成到开源软件开发中的挑战。该论文强调，为人类贡献者设计的现有开源治理模式，因能够提交代码但监督有限的自主AI代理而承受压力。论文分析了六个主要开源组织的现有政策，并将其与新兴的AI治理框架进行比对，以识别差距并提出一个规范AI贡献者的分层框架。
-
AI 的经济影响、伦理风险和基础设施挑战引发辩论
多方消息讨论了 AI 不断发展的格局，重点关注其经济影响、伦理考量以及治理和基础设施的挑战。Anthropic 和 Cohere 强调 AI 如何重塑工作任务和劳动力分工，并提出虽然 AI 可能会自动化知识型工作，但确保社会共享利益至关重要。研究论文深入探讨了负责任 AI 的复杂性，提出了有限声明的框架，并解决了与模拟人类认知能力的 AI 系统相关的伦理风险。此外，讨论还触及了由于技术和社会挑战，AI 指数级增长可能面临的终结，以及强…
-
国家基准揭示AI能力危机
一项对国家AI系统进行的最新基准测试显示，成熟度得分为1.8分（满分5分），表明在实现国家经济目标所需的组织能力和专业技能方面存在显著差距。报告强调，挑战不在于技术层面，而是人力和组织能力危机，需要重新设计工作流程和人才体系。为解决此问题，作者提出一个“AI能力操作系统”，整合组织能力、专业技能、行为能力和人机融合，以有效衡量和扩展AI价值。