explainability
PulseAugur coverage of explainability — every cluster mentioning explainability across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的大语言模型“Queen”以特级大师水平下棋并解释走法 · 追踪4个来源
研究人员开发了一个名为Queen的新颖框架，这是一个拥有40亿参数的语言模型，能够以特级大师水平下棋并解释其走法。该模型集成了静默专家国际象棋编码器和指令微调的语言模型，通过迭代训练来提高棋力及其解释的一致性。该方法使用了贝尔曼更新的自然语言类比，在Elo评分方面取得了显著的进步，并暗示了一种通用的方法，可以将语言模型应用于其他拥有可用专家编码器的领域，例如机器人和计算机使用。
-
人工智能的采用速度超过信任度；可解释性是缩小差距的关键
企业正在迅速采用人工智能工具并将其集成到关键的决策过程中，但这种采用速度超过了对这些系统的信任度发展。人工智能的采用与信任度之间的差距可以通过关注可解释性来弥合，可解释性允许用户理解人工智能模型如何得出其结论。这种增加的透明度对于培养信心以及在商业中更广泛、更有效地使用人工智能至关重要。
-
心理信任AI：超越创造者声誉
对人工智能的信任是一个复杂的问题，其多个方面超越了AI创造者的声誉。AI的可解释性、问责制以及用户的体验等因素，都在个体对AI系统的心理信任程度上发挥着重要作用。解决这些维度对于有效的人机交互以及减轻决策中的潜在偏见至关重要。
-
新的 XCal-FL 算法增强了差分隐私联邦学习的可解释性
研究人员开发了 XCal-FL，一种新颖的联邦学习算法，该算法动态校准差分隐私噪声以提高可解释性。该方法解决了标准差分隐私可能扭曲模型表示并降低解释保真度的问题，这对于临床诊断等应用至关重要。XCal-FL 在训练过程中使用三个信号——logit 变化、反事实边际和显着性集中度——来调整噪声，从而得到更准确、更易于理解的模型。实验表明，XCal-FL 在预测性能和解释保真度方面均显著优于现有方法，并且在隐私预算方面也更有效率。
-
综述论文详述数字健康领域的可信赖人工智能
一篇新近发表在arXiv上的综述论文综合了可信赖人工智能领域的最新进展，特别关注数字健康领域的鲁棒性和可解释性。论文概述了公平性、问责制和隐私等关键维度，这些对于机器学习在医疗保健中的伦理整合至关重要。文章探讨了重症监护和代谢健康等领域的特定应用信任考量，并详细介绍了改进模型鲁棒性和可解释性的方法，包括针对数据稀疏性和分布偏移的技术。
-
新研究强调了AI可解释性需求工程中的挑战
一篇新研究论文探讨了在AI领域将可解释性需求整合到现有需求工程（RE）实践中的挑战。该研究涉及戴姆勒卡车（Daimler Truck）的八名从业人员，识别出了在需求获取、规范和验证阶段反复出现的问题。这些挑战包括概念模糊性、有限的可测试性以及监管不确定性，表明当前的需求工程方法在系统性地解决AI系统的可解释性需求方面支持不足。
-
稀疏自编码器：AI可解释性的希望与陷阱
研究人员正在探索稀疏自编码器（SAE）用于机制可解释性，旨在揭示大型语言模型中的不同概念。一种新方法，结构化稀疏自编码器（$S^2AE$），通过对图像块进行分组并应用结构化稀疏正则化，提高了视觉-语言模型中的概念一致性。另一项研究强调了正确设置SAE中L0超参数的关键重要性，因为不正确的值可能导致特征无法解开底层模型概念。此外，一篇观点论文认为，虽然SAE可能在已知概念方面遇到困难，但它们在发现未知概念方面非常强大，在公平性、安全性和…
-
分析机器学习在物理学中的可解释性与可解释性
本文回顾了在应用于物理学的机器学习背景下，可解释性与可解释性的概念。作者将可解释性定义为模型的结构透明度，将可解释性定义为模型映射到领域知识的能力。作者讨论了实现这些特性的固有权衡、必要背景和可用工具，并强调机器学习模型与传统模型一样受到科学审查。文章指出，可解释性与可解释性是刻意设计的选择，而非固有属性，并强调了任务规范和干预计划在模型设计中的重要性。
-
Themis框架结合AI可解释性与人类反馈，实现更安全的RL
研究人员推出Themis，一个旨在通过整合可解释性与人类反馈来增强强化学习（RL）系统安全性和透明度的新型框架。该框架旨在通过提供统一的方法来解决防止RL中不期望行为的挑战，同时实现透明度和对齐。Themis支持广泛的环境，并已证明其能够训练出使用人类偏好后表现与真实奖励信号相当或更优的奖励模型，同时还提供了一个可扩展的云平台用于反馈收集和实验管理。
-
新指标量化网络安全AI中的可解释性脆弱性
本文介绍了一种新颖的指标——可解释性脆弱性得分（Explanability Fragility Score），用于量化网络安全入侵检测系统中AI解释的不稳定性。研究表明，多重共线性（一种具有相关特征的统计问题）会显著放大解释方差，并导致特征重要性无法识别。为解决此问题，本文提出了两种缓解方法：CAA-Filtering和SHARP，旨在稳定AI解释，提高在安全关键应用中的可信度。