interpretability
PulseAugur coverage of interpretability — every cluster mentioning interpretability across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
LessWrong 网站上关于 AI 可解释性训练有效性的讨论
LessWrong 网站上的一场讨论探讨了针对可解释性探针训练 AI 模型的效果。作者认为，只有当可解释性方法使用的特征比它们旨在检测的不良行为更能抵抗优化时，这种训练才是有益的。其有效性取决于模型在不阻碍自身认知过程的情况下隐藏相关特征的能力，以及这些特征的优化压力强度。文章提出，虽然针对探针进行训练可能存在问题，但在完全否定该技术之前，应考虑可解释性特征鲁棒性的“连贯叙事”。
-
新研究利用先进的模拟器和基准来解决自动驾驶安全问题
研究人员正在开发新的方法和基准来提高自动驾驶系统的安全性和鲁棒性。其中一种方法 MultiSim 使用模拟器集成来识别在不同模拟环境中都一致的导致故障的场景，其表现优于单一模拟器测试。另一项开发 Shift & Drift 是一个基准，旨在测试运动规划器在语义偏移和执行扰动下的表现，揭示了模仿保真度和韧性之间的权衡。此外，WCog-VLA 是一个结合了世界认知和生成模型以实现主动自动驾驶的新颖框架，而 CARLA-GS 通过解耦表示、…
-
新框架探索表示学习中的可观测性
研究人员引入了Platonic Projection Structures (PPS)，一个新颖的算子理论框架，用于分析表示学习和部分观测下的可观测性。该框架通过自伴正半定算子对观测进行建模，定义了诱导标量可观测项，并通过商几何来表征可观测性。该方法揭示了基于输出的可解释性中固有的局限性，强调某些潜在组件无法从诱导可观测项中获得，这会影响归因和解释方法。实证验证证实了这些发现，为表示可访问性和可解释性提供了统一的视角。
-
新专著勾勒深度学习理论从近似到涌现的蓝图
一本题为《从近似到涌现：深度学习理论》的新专著，提供了一个统一的、面向证明的现代深度学习理论叙述。本书追溯了该领域从近似和泛化等经典概念到过参数化、生成模型、Transformer和涌现等当代主题的演变。它旨在为研究人员和从业者提供一个严谨的深度学习理论图谱，强调其当前的强大之处、不完整性以及日益增长的对学习机制如何从规模、数据、架构和训练中产生的关注。
-
分析机器学习在物理学中的可解释性与可解释性
本文回顾了在应用于物理学的机器学习背景下，可解释性与可解释性的概念。作者将可解释性定义为模型的结构透明度，将可解释性定义为模型映射到领域知识的能力。作者讨论了实现这些特性的固有权衡、必要背景和可用工具，并强调机器学习模型与传统模型一样受到科学审查。文章指出，可解释性与可解释性是刻意设计的选择，而非固有属性，并强调了任务规范和干预计划在模型设计中的重要性。
-
新的合成数据模型旨在改善人工智能可解释性研究
研究人员引入了一种名为关键渗流的新型合成数据模型，旨在更好地反映自然数据中存在的层次结构，而这是当前可解释性研究数据集常常缺失的。该模型生成稀疏、低维的分形簇，具有幂律统计特性，为评估神经网络可解释性方法提供了一个可分析处理的测试平台。生成的数据允许从神经网络激活中线性解码真实潜在变量，为可解释性研究提供了一个有原则的方法。
-
新研究论文重新定义AI控制，区分秩序与真正指令
一篇新研究论文认为，AI系统中的“秩序”不等同于“控制”。作者提出“接收者门控响应定律”作为控制的必要条件，并将其识别于生物系统、LLM及其他操作者中。他们的发现表明，虽然支持局部控制和可测量的随机响应算子，但诸如预生成控制和生物-LLM协调身份等概念仍超出了当前理解的范围。