Auroc
PulseAugur coverage of Auroc — every cluster mentioning Auroc across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
视觉语言模型通过新的读出方法改进视频异常检测
一篇新的研究论文探讨了视觉语言模型（VLM）在无训练视频异常检测中的有效性。研究强调，将 VLM 答案转换为异常分数的方法对性能有显著影响。研究人员发现，一种考虑了所有可能答案分布的“概率读出”方法，其性能始终优于仅使用最可能答案的“生成读出”方法，从而在评估指标上取得了显著的提升。
-
LeakGauge 检测器以 0.996 AUROC 标记 AI 上下文泄露攻击
一篇新的 arXiv 预印本介绍了一种名为 LeakGauge 的新检测器，旨在识别大型语言模型泄露机密上下文的实例。该工具已显示出高效性，在涉及十一种不同模型的测试中取得了 0.996 的 AUROC 分数。
-
FedCoRe框架解决了医疗联邦学习中缺失数据的问题
研究人员开发了FedCoRe，一个用于医疗联邦学习的新框架，解决了缺失数据模态的挑战。FedCoRe通过比较使用可用数据和不使用可用数据所做的预测来学习纠正缺失信息，例如心电图或胸部X光片。该方法旨在恢复因模态缺失而损失的性能，在模拟医疗场景中显示出显著的准确性恢复。
-
视觉Transformer高精度地从心电图中检测心脏病
研究人员开发了一种视觉Transformer模型，能够从标准心电图（ECG）中检测左心室射血分数（LVEF）降低。该模型在多个临床中心的10,000多名患者身上进行了训练，在外部验证队列中达到了0.88的AUROC。该模型的注意力图突出了对QRS波群的关注，提供了可解释性，并表明常规心电图可以作为识别需要进一步超声心动图检查的患者的可扩展筛查工具。
-
AI系统增强乳腺MRI数据集的质量保证
研究人员开发了一个无监督异常检测系统，以确保用于医疗AI的多中心乳腺MRI数据集的质量。该系统解决了高风险医疗AI应用中对鲁棒数据集质量保证的关键需求。所提出的方法在17种异常类型的基准上进行了评估，在检测不同类型的数据损坏和分布外样本方面表现出不同程度的成功。
-
新的EGRL框架改进了RNA-蛋白质相互作用预测
研究人员开发了一个名为EGRL的新框架，用于预测RNA-蛋白质相互作用（RPI），这对细胞功能至关重要。这种深度学习方法利用图神经网络比以往的方法更有效地模拟RPI网络。EGRL通过结合隐式元路径学习、多关系感知注意力机制和一个预测未知分子潜在边的图生成器，解决了数据稀疏性和冷启动场景。在基准数据集上的评估表明，EGRL在冷启动设置中实现了具有竞争力的性能并显著提高了泛化能力，在AUROC和AUPR方面优于先前最先进的方法。
-
新框架SymboUQ提升LLM空间推理的可靠性
研究人员推出SymboUQ，一个旨在提高大型语言模型（LLM）空间推理可靠性的新框架。该系统通过评估声明是否可以被符号化和确定性地解决来量化不确定性，而不是仅仅依赖于token级别的置信度。SymboUQ集成了布局审计器（Layout Auditor）、确定性剖析器（Determinacy Profile）和可靠性组合器（Reliability Composer），在五个空间推理基准测试中，AUROC相对提高了约8%，Brier损失降低了7%。
-
新的机器学习框架增强药物发现筛选指标
研究人员开发了一个新的机器学习框架，以改进高通量筛选（HTS）分析中的性能指标估算，这对于早期药物发现至关重要。该框架通过从严格标准化均差（SSMD）这一成熟的效应量参数推导敏感性和特异性等分类指标，来解决HTS中极端数据稀疏的挑战。这种方法提供了统计上合理且可重复的性能估算，即使是单次重复测量也能做到，这一点已在丙型肝炎病毒筛选中得到证明。
-
新框架解决自适应数据清理方法中的偏差问题
开发了一个新的评估框架，以解决自适应数据清理方法中的混淆偏差。这些方法使用数据驱动的分区而不是手动阈值，可以通过改变移除样本的数量来隐式改变性能指标。所提出的框架使用匹配预算和匹配召回率的对照，以及像AUROC和AUPRC这样的独立于阈值的指标，以确保性能提升反映了真实的腐败区分能力，而不是移除预算的变化。在CIFAR-10和ImageNet-100上的实验表明，在匹配操作点后，许多在朴素评估中观察到的性能差异减小或消失了。
-
SkillTrace 在审计 LLM 代理技能复用方面达到 0.938 AUROC
SkillTrace 是一款新的审计工具，在检测大型语言模型 (LLM) 代理中技能的复用方面表现出高度有效性。该系统通过分析代理技能中的三种不同溯源追踪，实现了 0.938 的 AUROC 分数。此方法旨在识别部分技能复用，这是传统代码克隆工具通常缺乏的能力。
-
新AI框架从细胞表型和转录组学数据中学习
两篇新研究论文提出了从生物数据中学习表征的先进方法。第一篇，PhenMol，专注于在从细胞表型中学习以进行药物发现的同时保留分子结构，显示出提高的预测准确性和减少的嵌入失真。第二篇论文介绍了一种用于单细胞转录组学数据的对比预训练框架，通过互补视角而非仅基因重构来学习细胞表征，该方法在细胞类型注释和基因调控网络推断方面表现出有竞争力的性能。
-
新方法在事后识别 AI 模型中的因果特征与虚假特征
研究人员推出了一种新颖的事后方法——归一化敏感性比率（NSR），用于识别已训练 AI 模型中的因果特征。与以往的技术不同，NSR 不需要访问模型的训练过程。它在结构化迁移机制下运行，其中环境主要在虚假特征的均值上有所不同，而因果机制保持稳定。在合成数据和真实世界数据集（如自行车共享数据）上的实验表明，NSR 在恢复因果特征方面具有有效性，并且在各种模型家族中表现一致。
-
新的CrossSpine框架提升了腰椎间盘退变自动分级的性能
研究人员开发了一个名为CrossSpine的新框架，以改进腰椎间盘退变的自动分级。这种新颖的架构利用跨序列注意力机制，有效地融合了来自不同MRI序列、跨越多个空间尺度的特征。此外，该框架还采用了一种感知椎间盘（IVD-aware）的分类技术，该技术利用解剖学上的椎间盘水平信息来学习每个水平特有的退变先验。实验表明，CrossSpine显著优于基线模型，在Macro F1分数上提高了125%以上，并在AUPRC和AUROC方面取得了显著的提升。
-
Metamorphic testing framework proposed for clinical AI models
研究人员提出了一个名为变形测试（MT）的新框架，用于评估临床机器学习模型的行为正确性。该方法评估模型是否与既定的医学知识一致，即使在标准指标（如AUROC）显示出高性能的情况下也是如此。一项使用MIMIC-III和MIMIC-IV数据集进行的试点研究表明，临床模型尽管预测得分很高，但MT违规率却很高，这表明可能存在临床上的不合理性。该研究表明，MT是确保医疗AI可靠性的一种有价值的补充传统指标的方法。
-
异常检测指标在不平衡数据集上的分析
本研究论文深入探讨了异常检测模型在面对显著类别不平衡时的评估复杂性。作者分析了AUROC、AUPR、F1分数和MCC等常用指标在不同不平衡程度下的行为。他们引入了指标景观的概念，直观地展示了指标值与真阳性率和真阴性率的关系，从而更清晰地理解指标偏好和稳定性。研究结果旨在为研究人员和从业人员在解释和比较不同不平衡率数据集上的异常检测结果提供实践指导。
-
新理论模拟自适应OOD检测器崩溃并提供无标签解决方案
研究人员开发了一个用于自适应分布外（OOD）检测的理论框架，使用广义Pólya urn模型对适应过程进行建模。该模型揭示，如果杂质水平超过临界阈值，检测器的记忆库可能会完全被毒化，导致检测器崩溃。该研究还引入了一个认证的准入门控机制来防止这种反馈循环，并提出了一种名为CDC的方法来解决数据漂移下的校准失败问题，这两种方法都不需要标签。
-
新的LLM不确定性框架模拟逻辑关系
研究人员推出了一种名为逻辑图不确定性（LGU）的新型框架，旨在改进大型语言模型（LLM）量化其不确定性的方式。与现有的侧重于语义等价性的方法不同，LGU显式地模拟了不同生成答案之间的逻辑关系，例如蕴含和不相容。这种方法旨在减少当响应在逻辑上一致但形式不同时，不确定性的高估和幻觉的错误标记。在对几个问答基准的评估中，LGU在不确定性估计方面表现出色，在AUROC和AUARC方面分别优于语义熵基线高达7.1%和3.5%。
-
新的GRC-ProbNet方法提高了心血管疾病分类的准确性
研究人员开发了GRC-ProbNet，一种不确定性感知特征提取方法，旨在提高从CT图像分类心血管疾病（CVD）的准确性。这种新方法通过使用深度集成生成多个分割掩码来提取不确定性特征，从而建立在现有的GRC-Net管道之上。在MM-WHS和ASOCA数据集上的实验表明，GRC-ProbNet显著提高了CVD分类性能，AUROC达到了92.92%，而基线GRC-Net为91.25%。研究还发现，最能指示分割质量的不确定性度量并不总是为下游…
-
新研究揭示分布式后门可绕过AI智能体安全监控器 · 跟踪2个来源
研究人员在多智能体AI系统中发现了一个关键漏洞，其中分布式后门可以逃避本地监控器的检测。这些后门将有害载荷分散到多个智能体上，使得每一步操作看起来都是良性的。该研究将此形式化为“可观察性边界”，证明依赖本地视图的监控器一旦无法区分碎片与正常流量，就无法检测到这些攻击。实验表明，虽然一些监控器可以高精度地恢复攻击结构（平均AUROC为0.874），但除非能够分析组装后的对象，否则全跟踪系统仍然会失败，这凸显了确保组合式AI系统全局安全所面临的挑战。
-
新的CISM框架将缺失数据用作临床时间序列预测的信号
研究人员开发了一个名为CISM的新型框架，用于预测临床时间序列，该框架将缺失数据视为有价值的信号而非伪影。该方法将每个生理变量转换为时频频谱图，并包含一个显式的缺失流。在MIMIC-IV数据集上进行的院内死亡率预测实验表明，与现有方法相比，CISM在AUROC、AUPRC和F1分数方面取得了优越的性能。