AUC-ROC
PulseAugur coverage of AUC-ROC — every cluster mentioning AUC-ROC across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
机器学习模型在电力系统故障检测中表现出高准确率,但也存在漏报
一篇新研究论文评估了电力系统故障检测的机器学习模型,重点关注了超出聚合分数的面向保护的指标。该研究使用PROTECT-90数据集分析了梯度提升树、卷积神经网络和逻辑回归模型。虽然这些模型取得了较高的AUC-ROC值,但它们表现出显著的漏报和误报率,其中漏报与较高的故障电阻相关。
-
AI模型通过对齐公共和本地医疗数据来改进骨折分类
研究人员开发了一种域对抗神经网络(DANN),以改进从放射影像中对成人肘部骨折进行分类。该方法解决了域偏移的挑战,即在大型公共数据集上训练的模型在较小的、机构特定的数据集上表现不佳。通过对 MURA 公共数据集和路易斯维尔大学(UofL)本地数据集之间的特征分布进行对齐,DANN 方法展示了优于基线方法的性能。该研究强调了域对齐在实现从公共到本地医学影像数据稳健的临床泛化方面的有效性。
-
新的柯西位移网络提供更快的异常检测
研究人员推出了一种新颖的异常检测方法——柯西位移网络(Cauchy Displacement Network, CDN),该方法将邻域几何结构编译到一个紧凑的神经网络中。与需要将每个查询与整个训练集进行比较的传统方法不同,CDN 在单次前向传播中即可完成推理,显著降低了计算成本和内存需求。该网络将正常点回归到其 k-最近邻的均值,在 46 个基准数据集上取得了最先进的性能,同时处理查询的速度比现有检测器快几个数量级。
-
RGH-GNN 通过风险门控图神经网络增强金融欺诈检测能力
研究人员开发了 RGH-GNN,这是一种新颖的异构图神经网络,旨在改进金融欺诈检测。该模型通过将由 LightGBM 分类器生成的交易级别风险评分作为边权重,来解决交易数据中的类别不平衡挑战。这些风险评分指导可学习的聚合机制,确保高风险交易对学习到的表示产生更大的影响。在 IEEE-CIS 欺诈检测数据集上进行评估,RGH-GNN 的表现显著优于现有模型,AUC-ROC 评分为 0.914,证明了将工程风险信号集成到基于图的消息传递中的有效性。
-
LLM 评估指标:在构建仪表板之前选择正确的指标
在开发 LLM 仪表板之前,选择正确的评估指标至关重要,以确保其准确反映产品性能。对于分类任务,F1 分数等指标比简单的准确率更受青睐,尤其是在数据集不平衡的情况下,以避免误导性结果。困惑度(Perplexity)在训练过程中比较自回归模型时可能很有用,但不能保证任务成功,也不适用于掩码语言模型。对于 RAG 等生成任务,忠实于源材料是关键,但它应与上下文相关性和答案相关性一起评估,而不是作为独立指标。
-
AI模型利用新型注意力网络预测体外受精活产率
研究人员开发了一种结合了逻辑回归模型的新型混合注意力网络,用于预测体外受精/卵胞浆内单精子注射周期中的活产率。该模型在一个包含616个周期的精选数据集上进行训练,达到了0.710的最高测试AUC-ROC,优于TabPFN等经典机器学习模型和基础模型。研究强调了注意力机制在小型临床数据集特征加权方面的有效性,并表明内细胞团和滋养外胚层形态的差异化加权是关键预测因子。
-
新图方法提升视网膜疾病预测可解释性
研究人员开发了一种新颖的生物信息异构图表示方法,以提高用于预测糖尿病视网膜病变的机器学习模型的可解释性。该方法对视网膜血管节段和其他关键特征进行建模,将预测任务构建为图级分类问题,并使用图神经网络解决。该方法实现了 84% 的 AUC-ROC,并在精确识别异常血管和无灌注区域方面优于现有方法,为临床决策支持提供了详细的解释。
-
新的 PLSP 框架在部署前预测机器学习模型故障
研究人员推出了一种新颖的框架 PLSP(Pre-hoc Liminal Space Profiling),旨在部署前预测机器学习模型中的分布外(OOD)数据行为。与依赖推理时间指标的现有事后检测方法不同,PLSP 旨在通过引入一种独立于数据集的指标——可信度分数(CREDS)来预期模型故障。该框架还包括可信度曲线和热力图,以表征事前模型行为,在分布变化下提供信号处理的新视角,并提高模型鲁棒性。
-
新的时间图Transformer旨在改进信用卡欺诈检测
研究人员开发了THGT-FD,一种用于信用卡欺诈检测的时间异构图Transformer。该模型使用交易本身和六种关系类型的token来表示交易,并结合了Time2Vec编码。在一个大型数据集上的实验表明,THGT-FD的AUC-ROC为0.8536,尽管基于直方图的梯度提升基线表现稍好,AUC-ROC为0.8722。研究表明,关系信息对于欺诈风险评估是有价值的。
-
LLM与分类器结合可提高信用违约预测性能
一项新的研究论文探讨了将大型语言模型(LLM)与传统分类器结合用于信用违约预测。研究发现,虽然LLM本身可以达到较高的召回率和F1分数,但在AUC-ROC方面落后于随机森林。提示LLM模仿分类器并未显示出显著改进,但将提示精简为分类器最重要的特征或将分类器的预测概率添加到提示中,可以增强LLM的性能,使其AUC-ROC与随机森林相当,同时保持更高的召回率。
-
论文:奖励函数选择显著影响 LLM 预测行为
一篇新论文探讨了不同的奖励函数(即 proper scoring rules)如何影响大型语言模型的预测能力和行为。尽管这些规则理论上鼓励诚实的概率报告,但研究发现,使用不同规则训练的模型在校准、概率使用以及偏差、信息和噪声的估计画像方面表现出差异。Brier 训练的模型在 Brier 分数和 AUC-ROC 方面表现最佳,而 log 训练的模型在 log 分数和校准误差方面表现出色,这表明奖励函数的选择不仅显著影响预测准确性,还影响…
-
AI模型利用纵向和图数据预测青少年物质使用
研究人员开发了先进的模型,利用ABCD研究的数据来预测青少年物质使用的发病率。通过比较横断面、纵向和基于图的方法,他们发现纵向模型在基线预测方面始终表现优于其他方法。时间XGBoost表现出最强的独立性能,而时间图卷积网络(T-GCNs)提供了互补的风险信号。通过分数级堆叠结合这些方法取得了最佳结果,识别出同伴偏差、年龄和父母监督等关键预测因素。
-
机器学习模型预测阿尔茨海默病早期阶段
研究人员开发了一种机器学习模型,利用阿尔茨海默病神经影像学计划 (ADNI) 数据集中的临床数据、神经心理学评分和神经影像学测量来预测阿尔茨海默病早期阶段。为解决缺失值和类别不平衡等挑战,该研究采用了迭代插补和 Borderline SVM-SMOTE,然后进行特征选择。训练了一个结合逻辑回归、Extra Trees、Bagging KNN 和 LightGBM 的堆叠集成模型,同时训练了一个人工神经网络,并使用精确率、召回率、F1 …
-
新的QC-SMOTE方法提高了不平衡分类的准确性
研究人员开发了QC-SMOTE,一种新颖的过采样框架,旨在提高不平衡数据集上的分类准确性。该方法通过结合一种质量控制方法来解决生成低质量合成样本的问题,该方法根据局部密度、安全级别以及与多数类的隔离度来评估样本的可靠性。在30个数据集上的实验表明,QC-SMOTE优于现有的过采样技术,在具有中度至严重类别不平衡的情况下,取得了更高的AUC-ROC和Macro F1分数。
-
Manokhin 概率矩阵为分类器质量提供新框架
研究人员引入了 Manokhin 概率矩阵,这是一个旨在评估分类器概率预测质量的新诊断框架。该框架区分了可靠性和分辨率,将分类器分为四种原型:Eagle、Bull、Sloth 和 Mole。一项对 21 个分类器和 30 个任务进行的实证研究发现,像 CatBoost 和 Random Forest 这样的模型是 Eagles,而 XGBoost 和 LightGBM 是 Bulls,这对事后校准具有特定意义。
-
Eugene Yan 使用图和 NLP 技术增强推荐系统
Eugene Yan 的博客文章详细介绍了构建优于基线矩阵分解模型的推荐系统的方法。该方法涉及使用自然语言处理 (NLP) 技术,特别是 word2vec,根据产品之间的关系生成产品向量表示。然后,借鉴 DeepWalk 等基于图的学习方法,通过识别相似项来使用这些产品嵌入进行推荐。