receiver operating characteristic
PulseAugur coverage of receiver operating characteristic — every cluster mentioning receiver operating characteristic across labs, papers, and developer communities, ranked by signal.
14 天有情绪数据
-
新的模型拼接技术诊断喷注标记器中的表示差距
研究人员开发了一种“模型拼接”技术，用于诊断高能物理中使用的喷注标记器模型的表示差距。该方法通过线性映射训练，将一个网络的冻结早期层与另一个网络的冻结晚期层连接起来。研究发现，Lund表示中已知的缺陷，特别是主反聚类分支，确实是表示性的而非计算性的。使用完整的Cambridge/Aachen反聚类树重建表示在一定程度上修复了这一缺陷，尽管网络仍然主要依赖主分支获取信息。
-
分析AI模型认知障碍检测方法
研究人员调查了大型语音语言模型（LALMs）如何从语音中评估认知障碍（CI），重点是识别哪些内部组件驱动决策以及在其表示中可访问多少CI信息。他们使用CI对比神经元（CICNs），在多个LALMs和语音语料库中对这些组件与控制掩码进行了因果测试。研究发现，在某些模型中，消融一小组CICNs会显著改变预测，并且这些掩码在不同数据集上保持了特异性。此外，冻结的CICN激活的线性读出在CI检测中达到了较高的曲线下面积（AUC）得分，在某些情…
-
新的iAUC框架通过不确定性感知增强风险预测评估
研究人员开发了一个新的框架，用于评估包含不确定性的风险预测模型。这种基于区间（interval-based）的AUC (iAUC) 方法将传统的ROC分析扩展到处理区间值预测，后者自然地表示不确定性。该框架将排序分解为自信正确、模糊和自信错误类别，提供了与区间覆盖相关的鉴别性能的理论界限。在包括MIMIC-IV死亡率预测在内的临床数据上进行的实验表明，具有相似点AUC的模型可以表现出不同的不确定性感知特征，有助于模型选择和基于阈值的弃权。
-
新研究发现，AI验证器审计会随着时间推移而退化
一篇新的研究论文探讨了验证器堆栈中“策略内审计崩溃”的现象，该堆栈正越来越多地集成到AI模型的训练和测试中。研究发现，随着主策略的改进，组件验证器的评估会随着时间推移而退化，导致出现更差的验证器可能被优先选择的情况。作者提出了缓解此问题的方法，例如审计组件自身的失败，并在刷新分布中维护这些失败，以防止对下游性能和约束违反造成损害。
-
新的MOVAL工具可估算无标签数据的机器学习模型性能
研究人员开发了MOVAL，一个旨在利用无标签测试数据估算机器学习模型性能的新工具。这对于安全部署至关重要，尤其是在面对训练数据与真实世界数据之间分布差异时。MOVAL通过结合逐类置信度校准和集成方法，解决了模型输出概率过高和类别不平衡等问题。该工具在各种图像数据集上针对分类和分割等任务取得了最先进的结果，并在多个层级提供了准确的性能估算。
-
二元分类先验提升表格预测性能
一篇新的研究论文提出了一种用于多类别上下文表格预测的新颖方法，证明仅在预训练期间使用二元分类先验即可获得卓越的结果。该方法在 TabArena 基准测试和真实世界信用评分数据集上进行了测试，在 Elo 评分和曲线下面积 (AUC) 方面优于 TabPFN v2 和 RealTabPFN-v2 等现有模型。研究人员认为，模型的上下文比较运算符（而非固定的输出头）使其能够适应不同的类别数量，从而使二元先验在结构上更有效。
-
新AI方法改进零样本胸部X光诊断
研究人员开发了一种名为语义冲突感知对比学习与双规则教师蒸馏（SCCL-DT）的新方法，以改进零样本胸部X光诊断。该方法解决了对比学习中的语义冲突问题，即图像-报告对被错误地视为负例。SCCL-DT在归一化之前使用自适应阈值和硬掩码来识别和排除这些冲突对。该方法在五个公开基准测试中实现了0.850的平均零样本AUC，优于评估过的最强基线。
-
新研究探索影像组学-图像融合用于肾癌分类
两篇新研究论文探讨了影像组学和图像数据融合在肾细胞癌 (RCC) 分类中的应用。第一篇论文评估了将影像组学添加到基于图像的模型中如何超越简单的判别能力来提高概率性能，发现融合通常会同时增强这两个指标，其中一个 3D MedVAE 门控融合模型表现出强劲的结果。第二篇论文深入研究了这些融合模型的解释，区分了门控权重如何将重要性分配给中间特征，以及特征对最终分类决策的实际贡献，并强调结构权重可能与有效主导地位存在显著差异。
-
LLM 分类器需要超越有效输出格式的稳健评估
许多用作分类器的 LLM 应用，例如工单路由或内容审核，在实施时缺乏分类任务的标准安全措施。这些安全措施包括清晰的标签定义、带标签的测试集、有意义的概率分数以及不确定决策的升级路径。一项关于类型化决策模型的研究表明，仅仅更改标签名称就可能极大地改变模型的准确性，这凸显了有效的输出格式并不能保证正确的决策。基于错误成本实施概率阈值对于确保这些基于 LLM 的分类系统的可靠性至关重要。
-
AI识别出两种潜在的帕金森氏症血液生物标志物
研究人员已识别出两种潜在的蛋白质生物标志物 STX12 和 INPP5D，它们可能有助于通过血液检测来诊断帕金森氏症。他们利用机器学习技术分析基因组数据，找到了这些候选标志物，随后在少量患者和健康对照组的血液样本中进行了分析。STX12 的敏感性很高，但特异性有限；INPP5D 则情况相反。单独使用 STX12 或两者结合使用，在提高诊断准确性方面均无显著优势。该研究的初步发现需要在大规模、更多样化的患者队列中进行进一步验证，以确认其…
-
ROC 将视觉AI战略扩展至生物识别之外
ROC 正在制定一项全面的视觉AI战略，该战略超越了传统的生物识别范畴。此方法旨在整合各种AI能力，以提供更统一、更先进的解决方案。
-
新框架跨熵带诊断知识追踪模型性能
研究人员开发了一个新的信息论框架来诊断知识追踪（KT）模型的性能。该框架使用上下文树加权（CTW）来分析项目反应历史和当前项目查询，区分可预测的不确定性和不可减少的不确定性。通过评估模型在不同熵带下的性能，研究发现现代KT模型在高熵区域显示出显著的改进，表明收益并非在所有场景下都均匀。该方法还有助于识别当前KT基准和模型中潜在的噪声敏感行为和局限性。
-
AI模型改进踝关节不稳步态分析
研究人员开发了一种自适应步态生物反馈系统，以帮助慢性踝关节不稳患者。该系统使用时间卷积分类器，并通过留一受试者交叉验证方法进行评估。结果显示，在区分“好”和“坏”步态周期方面具有高准确性，并且模型在参与者特定更新后，在失败的会话中表现出性能提升。研究还表明，自适应干预可能与改善额状面踝关节角度有关，但需要进一步研究以确定临床分类和因果益处。
-
AI通过隐私保护工具从私人健康数据中发现血生物标志物
研究人员开发了一种新颖的评分工具，使AI代理能够在不损害患者隐私的情况下，从私人健康记录中发现潜在的血生物标志物。该工具在来自Clalit Health Services的超过540万患者的数据上进行训练，使用图注意力网络来预测候选生物标志物表达的曲线下面积（AUC）。这种隐私保护方法使AI代理能够优化生物标志物假设，在外部验证中平均AUC百分点提高了4.18个点，并在识别有希望的候选者方面优于现有的研究工具。
-
新方法使用正负样本未知数据最大化pAUC
研究人员开发了一种新方法，仅使用正样本和未知样本数据来最大化接收者操作特征曲线下的部分面积（pAUC）。该方法解决了在网络安全和医疗保健等实际应用中，标记负样本数据稀缺或难以获取的常见挑战。所提出的方法在经验风险最小化框架内，使用正密度和边际密度来表示pAUC，并从PU数据中推导出经验估计器来训练分类器。
-
新的MARS方法利用LLM实现零标签表格学习
研究人员开发了一种名为边际响应面引出法（MARS）的新表格学习方法，该方法无需标记数据即可进行预测。MARS利用大型语言模型（LLM）从特征语义和任务描述中提取领域知识，将这些先验知识转化为零样本表格分类器。该方法包括从无标签数据中选择代表性特征值，提示LLM获取类别支持分数和特征权重，然后汇总这些响应以创建用于预测的特征响应函数。MARS在八个表格基准任务上表现出色，与直接提示方法相比，平均AUC和AP分数更高，同时显著降低了计算成本。
-
新的分子表示方法在低数据分析中可媲美基础嵌入
研究人员开发了一种在低数据环境下进行分子表示的新方法，创建了一系列紧凑、可解释的描述符块。这些描述符块旨在匹配CheMeleon等更大、不那么透明的基础嵌入的准确性。在九项分析中，该组合实现了0.762的平均测试AUC，与CheMeleon的0.764不相上下，并展示了可审计表示的综合竞争力。
-
新算法解决复杂多层优化问题 · 2篇论文
两篇新研究论文介绍了解决复杂优化问题的新型算法。第一篇论文“通过多块单探针估计器求解有限和耦合组合优化”提出了一种多块单探针方差缩减（MSVR）估计器，以有效地处理具有多个嵌套函数且在每次迭代中只能采样部分块的问题。第二篇论文“随机约束组合优化的无投影多层算法”侧重于具有约束的嵌套优化问题的无投影方法，开发了依赖于线性最小化预言机并为各种目标类型提供复杂度保证的算法。
-
数据泄露导致ML模型性能从95% AUC骤降至68%
机器学习中的数据泄露会严重降低模型在生产环境中的性能，导致AUC等指标从95%骤降至68%。这种现象通常由时间泄露、目标泄露或重复泄露引起，也可能由数据漂移和标签漂移导致。有效的特征工程，尤其是在特定时间点进行，对于缓解这些问题和保持模型准确性至关重要。
-
机器学习系统故障源于早期架构选择，而非模型准确性
本文讨论了机器学习系统中无法仅由工程团队决策的关键架构选择。文章强调，生产环境中大多数机器学习故障源于早期设计选择，而非模型准确性。文章指出，将预测、学习和优化视为具有明确权衡的系统问题至关重要，而不是作为功能模型的附加项。关键的架构约束包括可靠性、可扩展性、可维护性和适应性，这些对于防止静默故障并确保系统能够随着新数据和需求而发展至关重要。