Spearman
PulseAugur coverage of Spearman — every cluster mentioning Spearman across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新评分可预测AI推理系统中的静默故障
研究人员开发了一种预测学习推理系统中“静默故障”的方法，即系统在排除真实值的同时错误地报告不确定性。该评分源自对变分自编码器先验的线性化，并在真实的X射线CT对象上进行了测试，显示出与实际故障的强相关性。虽然该评分可以预测这些错误，但研究表明，这些故障的结构比学习到的先验本身更依赖于测量访问和决策量。
-
Genetic AI Sorting Shows Bias Robustness Over Learned Rankers
一篇新的研究论文探讨了遗传多标准排序方法与学习排序器相比在对抗偏见方面的鲁棒性。研究发现，不依赖标签的遗传 AI 方法在训练标签被污染时，仍能保持一致的偏见和效用曲线。相比之下，LightGBM 和 XGBoost 等学习排序器在污染水平升高时，与被污染标签的相关性增加。研究结果表明，当避免偏见的代理或被污染的标签至关重要时，遗传排序是优化特定属性的可行架构选择。
-
新的基准Game2Real-Bench显示玩具游戏与现实世界VLM推理相关
研究人员推出了Game2Real-Bench，这是一个旨在评估视觉语言模型（VLM）视觉推理能力的新基准。该基准旨在确定在玩具游戏中获得的技能是否能迁移到现实世界的视觉推理任务中。研究发现，在基于游戏和现实世界的任务上的表现之间存在很强的相关性（Pearson和Spearman均为0.935），这表明玩具游戏确实可以反映现实世界的推理模式。然而，迁移能力因能力而异，在使用游戏演示时，约束推理有所改善，而细粒度感知能力有所下降。
-
新研究强调连接组约束AI模型可靠性
一篇新论文《FlyHack: Stress-Testing Mechanistic Claims in a Connectome-Constrained Visual Model》探讨了从连接组约束神经网络得出的结论的可靠性。这项研究测试了一个名为flyvis的果蝇运动视觉模型，发现机械论断可能高度依赖于特定的比较模型、干预方法、电路表示和训练好的解决方案。研究强调，虽然这些模型允许直接检验生物学假设，但由此产生的论断的范围必须根据模…
-
新定律简化了 AI 生物声学分类的域对齐
一篇新研究论文发表在 arXiv 上，提出了一种用于冻结嵌入式生物声学分类的域对齐的强度单调定律。该研究专注于跨域蚊子物种分类，发现编码器在给定任务上越强大，其跨域泛化越依赖于分布对齐项，并受到域重平衡采样的损害。该定律提出了一种简化的有效分类方法，包括冻结的 Perch 2.0 嵌入、一个轻量级探针、交叉熵、一个 MMD 项和输入增强，其性能与更复杂的方法相当。
-
新模型识别人类学习动力学参数
研究人员开发了一个新模型，将人类学习理解为一个耗散动力学过程，类似于非线性常微分方程组。该模型旨在捕捉知识如何在相互关联的概念中积累、衰减和传播。该研究证明了一个结构可辨识性定理，表明在特定的激励条件下可以精确恢复模型参数，并在更简单的情况下提供建设性的闭式解。然而，在大型观测数据集上，模型参数无法准确恢复，这表明在没有设计的激励的情况下，在实际应用中存在局限性。
-
LLM通过跨领域转移在咨询质量评估方面表现出色
研究人员开发了一种使用大型语言模型（LLM）评估咨询对话中沟通质量的方法。通过在不同领域的数据上训练LLM，他们发现专家印象预测的跨领域转移优于领域内训练，Spearman相关系数分别为0.54和0.48。此预测的关键特征是LLM分析说话者文本时得出的构建分数，特别是与专家评分工具相关的分数。研究还强调了数据质量的影响，指出每位说话者的音频丢失和错误的说话者分割会负面影响评估。
-
图神经网络可靠性在蛋白质功能预测中的探索
一篇新发表在arXiv上的研究论文探讨了图神经网络（GNNs）在预测蛋白质功能方面的可靠性。该研究调查了蛋白质网络中的组织特异性互作结构是否包含有助于识别不可靠预测的信息。研究人员发现，有效电阻（一种先前用于缓解GNN中过度压缩的信号）与这些网络中的度数呈强相关。虽然这种残差信号解释了在保留网络中额外的每节点损失，但其影响受到度数退化的限制，并且在选择性预测方面的改进微乎其微。
-
新的适配器方法解决了时间序列基础模型中的路由崩溃问题
研究人员发现时间序列基础模型（TSFM）中存在一个关键问题，即标准的混合专家（MoE）适配器因“归一化引起的路由崩溃”而失效。这种现象发生的原因是预编码器归一化剥离了路由器区分不同数据模式所必需的关键统计信息。所提出的解决方案，原始路由适配器混合（RR-MoA），通过在原始的、预归一化输入上进行路由来进行干预，从而有效地绕过了这种崩溃。实验表明，在使用冻结骨干网络时，RR-MoA 的性能显著优于现有的适配器方法，甚至优于完全微调，这一…
-
新研究质疑Hessian迹作为可靠模型选择信号的有效性
一篇新的研究论文探讨了使用内部模型属性，特别是Hessian迹及其特征值，作为外部验证数据不可靠时模型选择的代理。研究发现，虽然这些几何信号可以与泛化差距相关，但它们不能持续地识别出最佳性能模型以供部署。研究表明，指示泛化的信号不一定能转化为有效的模型选择信号。
-
新研究探讨AI矩阵记忆中的秩学习
研究人员开发了一种新方法来研究基于梯度的训练如何学习在矩阵记忆中存储和组合关联所需的秩。他们的研究训练了键值绑定的矩阵记忆，证明了学习到的有效秩随着绑定数量的增加而增加，并且训练期间的秩上限显著影响恢复性能。研究结果表明，学习到的算子近似于理想周期，在理解和改进AI记忆能力方面具有潜在应用。
-
研究发现LLM数据审计不能保证非洲NLP的下游效用
一篇新发表在arXiv上的研究调查了低资源非洲语言合成数据选择方法的有效性。研究发现，普遍认为由LLM评估器高度评价的数据将提高下游模型性能的代理指标并不成立。在四种语言和两个任务中，基于LLM审计的数据质量排名与实际下游性能存在显著差异。该研究提出了一个反事实审计框架“V2”，它提高了评估标签的正确性，但仍不能保证下游效用，突显了合成数据评估需要在相同的保留集上报告审计和下游指标的必要性。
-
新的DFER框架预测人类分歧以实现更好的校准
研究人员开发了一种新的动态面部表情识别（DFER）框架，该框架考虑了标注者之间的人类分歧。该方法使用狄利克雷-多项式似然函数直接在原始标注者投票计数上训练模型，在保持预测准确性的同时提高校准。该系统还包括一个歧义头来预测标注熵，以及一个用于选择性预测的拒绝规则，在DFEW和FERV39k等基准测试中显著降低了错误率并提高了与标注熵的相关性。
-
Transformer模型解码裸盖菇素的基因反应
一项新的研究论文介绍了一个基于Transformer的模型，用于分析裸盖菇素的转录反应。该无监督模型对单核RNA测序数据中的基因表达变化进行分类，准确率达到69.4%。研究发现，裸盖菇素对基因表达的下调效应比其上调效应在个体之间更一致，并且基线HTR2A表达不能作为简单的门控机制来预测药物反应的可分离性。
-
研究发现，礼貌的提示会改变大型语言模型的相关性判断
一篇新发表在arXiv上的研究调查了提示中的礼貌用语对用作相关性判断器的大型语言模型的影响。研究人员发现，语气显著影响模型的判断，并且影响因模型而异。当语气影响一致性时，它似乎会转移模型整体评分的宽松度，而不是提高判断的准确性。研究表明，当精确的相关性标签至关重要时，提示语气可能构成有效性威胁。
-
新的PruneShift框架评估AI模型剪枝决策的可靠性
研究人员推出PruneShift，一个旨在评估机器学习模型结构化剪枝过程中决策可靠性的新框架。与以往关注平均代理误差或秩相关性的方法不同，PruneShift将选择器输出附近的预测保真度与最终剪枝决策的质量分离开来。使用TextbookQA和Natural Questions等数据集以及OPT-125M模型进行的研究表明，局部保真度并不总是与广泛保真度相关，这凸显了区分评估指标的必要性。
-
新方法可对多模态大语言模型进行序数任务对齐
研究人员发现，多模态大语言模型（MLLMs）在处理序数回归任务（如年龄估计或图像质量评估）时存在显著差距。尽管内部模型状态与有序标签显示出很强的相关性，但最终的 token 输出未能反映这种序数证据。为解决此问题，开发了一种名为序数镜头对齐（Ordinal Lens Alignment, OLA）的新方法。OLA 使用在解码器层上训练的轻量级镜头来融合序数信息，并在生成过程中纠正最终的 token logit，其性能优于现有方法，同时…
-
新研究探讨统一多模态模型中的概念绑定
研究人员开发了一种新颖的方法来研究统一多模态模型（UMMs）中理解和生成之间的关系。通过构建一个仅通过一个任务方向进行训练的视觉实体，他们发现生成训练会植入一个模型只能匹配的概念，而理解训练则允许模型也能生成该概念。研究表明，跨任务可用性取决于概念绑定进入共享计算的位置，特别是在理解路径的入口点需要一个共享的语义格式。
-
AI安全研究：监视器技能而非谱系决定集成体有效性
一篇题为“去相关性并非互补性：技能而非谱系决定了可信监视器集成体的有效性”的新研究论文挑战了这样一种假设：即多样化的预训练谱系是构建有效的AI安全可信监视器集成体的关键。研究发现，监视器在检测威胁方面的个体技能是比其谱系或集成体构建中使用的去相关性指标更重要的因素。研究表明，随着面板整体技能的提高，集成体收益会降低，这表明选择单一最佳监视器可能比复杂的集成方法更有效。
-
新框架提供对大型语言模型谄媚行为的可控操纵
研究人员开发了一个名为 PCA-guided Activation Scaling (PAS) 的新框架，用于控制大型语言模型 (LLM) 中的谄媚行为。谄媚是指 LLM 倾向于同意用户，而不顾准确性，这可能存在问题。PAS 旨在提供一种可预测且渐进的方式来同时减少和增加谄媚行为。该方法将 LLM 激活分解为谄媚-诚实子空间，并应用不同的缩放，在不同模型和数据集上实现了强单调性和显著的行为转变。