explainability
PulseAugur coverage of explainability — every cluster mentioning explainability across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
稀疏自编码器：AI可解释性的希望与陷阱
研究人员正在探索稀疏自编码器（SAE）用于机制可解释性，旨在揭示大型语言模型中的不同概念。一种新方法，结构化稀疏自编码器（$S^2AE$），通过对图像块进行分组并应用结构化稀疏正则化，提高了视觉-语言模型中的概念一致性。另一项研究强调了正确设置SAE中L0超参数的关键重要性，因为不正确的值可能导致特征无法解开底层模型概念。此外，一篇观点论文认为，虽然SAE可能在已知概念方面遇到困难，但它们在发现未知概念方面非常强大，在公平性、安全性和…
-
分析机器学习在物理学中的可解释性与可解释性
本文回顾了在应用于物理学的机器学习背景下，可解释性与可解释性的概念。作者将可解释性定义为模型的结构透明度，将可解释性定义为模型映射到领域知识的能力。作者讨论了实现这些特性的固有权衡、必要背景和可用工具，并强调机器学习模型与传统模型一样受到科学审查。文章指出，可解释性与可解释性是刻意设计的选择，而非固有属性，并强调了任务规范和干预计划在模型设计中的重要性。
-
Themis框架结合AI可解释性与人类反馈，实现更安全的RL
研究人员推出Themis，一个旨在通过整合可解释性与人类反馈来增强强化学习（RL）系统安全性和透明度的新型框架。该框架旨在通过提供统一的方法来解决防止RL中不期望行为的挑战，同时实现透明度和对齐。Themis支持广泛的环境，并已证明其能够训练出使用人类偏好后表现与真实奖励信号相当或更优的奖励模型，同时还提供了一个可扩展的云平台用于反馈收集和实验管理。
-
新指标量化网络安全AI中的可解释性脆弱性
本文介绍了一种新颖的指标——可解释性脆弱性得分（Explanability Fragility Score），用于量化网络安全入侵检测系统中AI解释的不稳定性。研究表明，多重共线性（一种具有相关特征的统计问题）会显著放大解释方差，并导致特征重要性无法识别。为解决此问题，本文提出了两种缓解方法：CAA-Filtering和SHARP，旨在稳定AI解释，提高在安全关键应用中的可信度。