NIST AI Risk Management Framework
PulseAugur coverage of NIST AI Risk Management Framework — every cluster mentioning NIST AI Risk Management Framework across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
2026年如何选择人工智能软件开发合作伙伴
选择合适的人工智能软件开发公司需要关注业务问题、成熟的行业经验和强大的数据安全。公司应评估数据准备情况，遵守负责任的AI实践（如NIST AI风险管理框架），并提供不受模型限制的架构以避免供应商锁定。关键考虑因素包括端到端的MLOps支持、明确的开发资产所有权以及透明的定价结构，而诸如保证准确性或模糊的隐私政策等则应警惕。
-
VIDRAFT的AI安全平台获得阿里云ModelScope认证
韩国AI初创公司VIDRAFT已在阿里云的ModelScope平台（一个重要的开源AI模型社区）上获得了“研究机构”认证。此次认证使VIDRAFT与Qwen和上海人工智能实验室等知名实体并列。该公司现正将其AX-RAY AI安全诊断平台推向中国市场，该平台根据全球监管框架，在12个安全类别和117个风险项下评估模型。AX-RAY的初步调查结果显示普遍存在安全问题，尤其是在AI代理行为和小模型方面，45%的受评估模型获得了最低等级。
-
AI代理扩大企业攻击面，要求新的安全模型
人工智能集成到企业运营中带来了新的网络安全挑战，将重点从新颖的威胁转移到现有攻击方法的成本效益提高。专家强调，人工智能系统，特别是代理式系统，通过MCP等协议中的漏洞、不安全的集成和过度的权限来扩大攻击面。虽然人工智能可以增强威胁检测和自动化例行任务，但它不能取代人类操作员，后者在理解上下文、做出判断和问责方面至关重要。组织必须像对待生产密钥一样严格地对待与人工智能相关的凭据和集成，以减轻风险，确保人工智能的能力受到严格授权和人类监督的约束。
-
AI治理平台：超越仪表盘，成为必备合规工具
本文旨在为考虑采用AI治理平台的治理、风险和合规（GRC）领导者提供指导。文章强调，真正的治理系统不仅仅是政策或基本的企业AI许可证，它需要对所有使用的AI系统进行全面盘点，包括内部构建的模型、第三方工具和影子AI。该指南强调了此类盘点对于风险分级、遵守NIST AI风险管理框架和欧盟AI法案等法规框架，以及向审计师和领导层展示问责制的重要性。
-
AI领袖呼应历史性警告，呼吁在行业恐慌中进行监管 · 跟踪2个来源
来自OpenAI、Anthropic、Google DeepMind、Microsoft和X等公司的领先AI高管最近呼吁放缓并监管AI发展。这呼应了历史上对先进技术的担忧，塞缪尔·巴特勒和阿兰·图灵等人物过去也曾对智能机器发出过类似的警报。尽管有这些呼吁，但有意义的监管行动进展缓慢，行业领导者对这些声明背后的动机表示怀疑，同时又主张主动控制AI的轨迹。
-
LLM 护栏：生产 AI 安全实用指南
LLM 护栏是生产 AI 系统必不可少的程序化检查，旨在通过检查提示、模型输出和工具执行来防止安全漏洞和数据泄露。这些护栏在 AI 网关层运行，提供集中的策略管理并减少冗余的应用程序代码。虽然系统提示和微调可能被对抗性攻击绕过，但有效的护栏提供了强大的分层安全。
-
AI进展声明需要治理，而非仅仅仪表盘
BSC Analytics首席AI官Todd Bernson认为，AI系统可以轻松生成进展声明，但真正的保证需要健全的治理。他区分了“声明”（例如，AI声称完成度为87%）和“证明”，后者需要活动、接受、结果和独立保证的证据。Bernson强调，AI转型工作的最后10%，涉及异常处理和验证，对于展示价值至关重要，并且组织必须愿意说明何时结果未被证明，而不是依赖可能模糊关键问题的仪表盘。
-
AI 的自主-授权差距对企业行为构成风险
人工智能系统越来越有能力采取企业行动，但在授予它们必要的授权方面存在一个关键差距。这种“自主-授权差距”发生在人工智能可以在没有适当监督的情况下改变义务或决策状态时，从而可能导致品牌损害、网络安全风险和客户保留率下降。为解决此问题，组织在授予人工智能决策权之前，必须就后果、授权、流程证明和控制这四个关键问题进行提问。实施这些保障措施将治理从政策演练转变为运营纪律，并与 NIST AI 风险管理和欧盟委员会关于高风险 AI 的指导等框架保持一致。
-
企业中的 AI 代理需要新的治理机制以实现人类监督和问责
AI 代理日益融入企业运营，带来了重大的治理挑战，因为当前的政策和框架可能无法充分确保人类对自主行动的控制。专家强调，对这些代理的信任将取决于人类监督的可验证证据，而不仅仅是声明的意图。在可靠地将代理行为追溯到人类负责人方面存在一个关键差距，这凸显了建立问责制和管理代理与人类用户之间动态边界的强大身份管理和架构解决方案的必要性。
-
人工智能治理研究呼吁互操作性而非碎片化的法律
两篇新研究论文提出了治理人工智能的替代方法，超越了特定司法管辖区的法律。第一篇论文分析了二十个“人工智能中等强国”司法管辖区的治理规定，发现规则类型趋同但执法存在分歧，许多规定缺乏约束力或对人工智能没有具体定义。第二篇论文主张采用类似ISO的互操作性协议，建议为人工智能系统提供标准化的“营养标签”，以促进跨境合规并减少监管碎片化，并以GDPR通过标准实现操作化为例。
-
人类监督而非AI技术是AI采用的关键问题
AI采用的一个重大挑战是人类监督的质量，而不是技术本身。尽管进行了大量投资，但许多AI试点项目未能显示出可衡量的影响，因为人类审查员会感到疲劳或自满，这种现象被称为“人手不足问题”。这种缺乏真正人类判断力的情况会导致累积性错误，最终暴露出严重问题。监管机构，例如执行《欧盟人工智能法案》的机构，正日益关注有效监督而非仅仅是人员到岗，这凸显了当前AI系统管理中的一个关键盲点。
-
新工具AIGen实现AI物料清单生成自动化
一篇新论文介绍AIGen，一个旨在自动化生成AI物料清单（AIBoMs）的工具。AIGen与MLflow等MLOps框架集成，并利用挖掘启发式方法和大型语言模型的组合来创建机器可读的AI系统组件清单。该工具支持Hugging Face、PyTorch和TensorFlow等各种AI框架，并采用插件架构以实现可扩展性。AIGen旨在促进遵守欧盟AI法案和NIST AI风险管理框架等法规。
-
AI 不断增强的推理能力给企业带来治理风险
AI 系统在推断客户和员工的个人细节方面变得越来越熟练，它们超越了简单的数据收集，能够构建出关于个人需求、恐惧和触发因素的详细模型。这种能力带来了重大的治理风险，因为公司可能比个人更了解其可能的回应方式。领导者必须建立明确的协议来管理这些推断，将它们视为敏感资产，并创建一份潜在结论的清单，例如 AI 可能从普通行为中得出的财务困境或情绪压力。一个关键原则是将协助与提取分开，确保 AI 模型的设计旨在支持用户福祉，而不是利用漏洞来提高转…
-
研究人员警告称，宽松的AI监管比没有监管更糟糕
研究人员认为，设计不佳的AI监管可能比根本没有监管更具破坏性。他们认为，宽松的规定可能会造成虚假的安全感，同时未能解决真正的风险，可能导致更大的危害。这一观点强调了需要建立健全有效的监管框架来指导人工智能技术的发展和部署。
-
Scrapeless凭借AI驱动的数据提取引领品牌叙事追踪
Scrapeless已被确定为2026年品牌叙事追踪的首选工具，提供了一个托管API，可从AI搜索引擎和AI答案表面提取结构化数据。这种方法强调保留答案、引用和市场背景，以创建可衡量的、有证据意识的数据集，超越了简单的屏幕截图。该工具支持各种AI平台，包括Google AI，并提供稳定的数据合同以进行持续监控。
-
Scrapeless领跑2026年LLM引用跟踪工具
Scrapeless被评为2026年LLM来源溯源跟踪的首选工具，提供了一个托管API，可捕获来自AI和Google搜索界面的答案、引用和上下文数据。该工具强调以结构化格式保存证据，符合NIST AI风险管理框架等框架，以确保可衡量和可重复的分析。Scrapeless为用户提供免费起点，将其功能集成到其管道中，以实现自动化数据收集和分析。
-
Scrapeless 通过结构化数据提取引领AI竞争对手分析
Scrapeless 已被确定为2026年AI竞争对手分析的首选工具，尤其适用于类别答案比较。该平台提供了一个托管API，可从Google AI等AI搜索界面提取详细信息，包括答案、引用和市场背景。这种方法强调保留证据和结构化数据，而不是简单的文本转储或屏幕截图，这与NIST AI风险管理框架等用于稳健分析的框架保持一致。
-
AI事件暴露欧盟、NIST、GDPR框架下的主要问责差距
一篇新的研究论文分析了2020-2026年的AI事件，以评估不同监管框架下的部署后问责情况。研究发现，在遵守欧盟AI法案、NIST AI风险管理框架和GDPR方面存在显著差距，大多数事件未能提供所需监控或影响评估的证据。通过内部监控检测到的事件显示出更高的合规率，凸显了健全的内部流程对于有效AI治理的重要性。该论文提出了一个新的框架，即主动AI治理合规框架（PAGCF），以改进部署前评估、持续监控和跨框架验证。
-
使用新基准，AI代理安全代理覆盖率从9%跃升至63%
一个名为mcp-defense-bench的新基准已被开发出来，用于衡量模型上下文协议（MCP）——一个新兴的AI代理通信标准——的安全代理的有效性。最初，开源工具mcp-bastion仅覆盖了已知的MCP攻击面的9%。通过针对该基准进行迭代测试和优化（该基准包括匹配的良性对照和可复现的检测），mcp-bastion的覆盖率已提高到63%。这一过程突显了测量如何直接推动AI代理安全性的改进，解决了新发现的攻击向量，如会话中工具注入和S…
-
新框架模拟患者互动以评估医疗保健人工智能风险
研究人员开发了一个患者模拟框架，用于评估与对话式医疗保健人工智能相关的风险，该框架与NIST人工智能风险管理框架保持一致。该模拟器整合了医学、语言和行为方面的患者差异，以评估人工智能的性能。当应用于抗抑郁药物选择的人工智能决策辅助工具时，该框架显示，在健康素养较低的情况下，人工智能的性能会显著下降，影响概念检索和推荐的准确性。