MLCommons
PulseAugur coverage of MLCommons — every cluster mentioning MLCommons across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
MLCommons 推出基准测试以评估 LLM 免受越狱攻击的安全性
MLCommons 发布了越狱基准测试 v1.0，这是一种评估大型语言模型 (LLM) 在对抗性提示（旨在绕过安全防护措施）方面的鲁棒性的新方法。该基准测试使用 264 个种子提示，涵盖十一个危险类别，评估了八个开源模型。结果显示，在越狱条件下，不安全响应率从基线条件的 11.08% 上升到 18.65%，平均“韧性差距”为 7.57%。该基准测试旨在为可复现的越狱评估和未来研究提供基础。
-
Granite Guardian 在多语言和受监管的 LLM 安全性方面优于 Llama Guard
Llama Guard 和 Granite Guardian 是两个用于 LLM 的开源安全分类器，但它们在功能和许可方面存在显著差异。Llama Guard 在内容安全方面表现出色，适用于英语应用程序，而 Granite Guardian 则提供更强大的开箱即用多语言支持，并包含接地性（groundedness）和推理检测（rationale detection）等关键功能，使其在受监管的行业中更加健壮。文章强调，Llama Gua…
-
AI代理面临新的安全和隐私挑战，研究人员提出解决方案
研究人员正在探索新的框架和方法来增强自主AI代理的安全性和隐私性。Google Research发布了一份报告，详细介绍了Agentic隐私和安全中的开放性问题，强调代理需要理解并遵守情境行为规范，其灵感来源于情境完整性理论。同时，学术论文提出了MiniScope等系统用于最小权限原则，DEFER1用于基于规则和基于判断的安全，以及关注数据沿袭的内存治理以防止数据泄露。这些努力旨在确保AI代理能够恰当且安全地行动，即使在处理敏感数据和…
-
Google DeepMind 试点双盲 AI 评估以防止模型作弊
Google DeepMind 开发了一种新颖的方法来对先进的 AI 模型进行双盲评估，以防止 AI 代理或开发人员作弊。该方法利用 Google Cloud 的 Confidential Computing 创建一个安全环境，其中测试提示和模型权重均不向任何一方透露。该试点项目与新加坡 AI Laboratory 和 MLCommons 等合作伙伴合作，旨在确保 AI 模型性能评估的完整性和可信度。
-
首次对专有AI模型进行双盲评估
AVERI、Google DeepMind、OpenMined 和 MLCommons 之间的一项重要合作促成了首次对专有语言模型进行的双盲评估。这一里程碑式的事件涉及技术和制度创新，以确保恰当的AI治理。此次评估专门测试了 Google DeepMind 的 Gemini 2.5 Flash-Lite 模型。
-
AI基准测试工具：自定义构建与现有解决方案的探索
一个专注于AI硬件和模型性能的博客作者调查了他们的自定义基准测试工具是否必要，或者是否可以使用现有解决方案。他们发现，像Linus Tech Tips和Gamers Nexus这样的硬件评测网站虽然开发了复杂的框架，但这些框架主要设计用于GPU和游戏工作负载，而非LLM。同样，像MLPerf Client和Procyon这样的厂商无关AI基准测试套件受限于固定的模型列表，并且不支持多轮代理任务。尽管存在像llama-bench和lla…
-
Amazon Nova 2 Lite 使用新提示词进行内容审核
Amazon 详细介绍了其 Nova 2 Lite 模型如何有效地通过提示词进行内容审核任务。一份新的技术报告和博客文章解释了如何采用结构化、以分类法为驱动的提示词，并与 MLCommons AILuminate 标准保持一致，从而取得最先进的成果。这种方法使 Nova 2 Lite 在内容审核方面优于更大的 AI 模型。
-
OpenSSF 启动 AI/ML 安全工作组
开源安全基金会 (OpenSSF) 已启动一个专注于 AI/ML 与安全交叉领域的工作组。该工作组旨在探讨与大型语言模型 (LLM) 和生成式 AI (GenAI) 等 AI 技术相关的安全风险，特别是它们对开源项目和社区的影响。它还将研究如何利用 AI 来增强其他开源计划的安全性，解决数据投毒、提示注入和对抗性攻击等问题。
-
OpenAI 发布 GPT-5.6，扩展 ChatGPT 广告业务，并探索企业 AI 采用 · 跟踪 10 个来源
OpenAI 发布了 GPT-5.6，这是一个新的前沿智能模型，强调每 token 智能的提升、每美元性能的改进以及复杂任务的增强的按需能力。此次发布遵循了 OpenAI 扩大 AI 访问的更广泛战略，ChatGPT 广告业务达到 10 亿美元的年化收入运行率及其全球扩张证明了这一点。该公司还在探索企业如何整合代理式 AI，重点关注组织设计以跟上 AI 进步的步伐，并通过新的记分卡衡量 AI 投资回报率。
-
MLC 支持在浏览器、iPhone 和 AMD 显卡上运行大型模型
由卡内基梅隆大学（CMU）的 Tianqi Chen 领导的机器学习编译（MLC）小组正在开发 MLC Chat 和 Web LLM 等框架，以支持在包括 iPhone 和网页浏览器在内的消费级硬件上运行大型语言模型。该计划旨在通过允许模型在配备 AMD 显卡甚至仅 CPU 的设备上本地运行，来缓解当前的 GPU 短缺问题。Hugging Face 的 text-to-webapp 生成器和 Gradio 等项目也在为开发者和最终用户…