AUC-ROC
PulseAugur coverage of AUC-ROC — every cluster mentioning AUC-ROC across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新图方法提升视网膜疾病预测可解释性
研究人员开发了一种新颖的生物信息异构图表示方法，以提高用于预测糖尿病视网膜病变的机器学习模型的可解释性。该方法对视网膜血管节段和其他关键特征进行建模，将预测任务构建为图级分类问题，并使用图神经网络解决。该方法实现了 84% 的 AUC-ROC，并在精确识别异常血管和无灌注区域方面优于现有方法，为临床决策支持提供了详细的解释。
-
新的 PLSP 框架在部署前预测机器学习模型故障
研究人员推出了一种新颖的框架 PLSP（Pre-hoc Liminal Space Profiling），旨在部署前预测机器学习模型中的分布外（OOD）数据行为。与依赖推理时间指标的现有事后检测方法不同，PLSP 旨在通过引入一种独立于数据集的指标——可信度分数（CREDS）来预期模型故障。该框架还包括可信度曲线和热力图，以表征事前模型行为，在分布变化下提供信号处理的新视角，并提高模型鲁棒性。
-
新的时间图Transformer旨在改进信用卡欺诈检测
研究人员开发了THGT-FD，一种用于信用卡欺诈检测的时间异构图Transformer。该模型使用交易本身和六种关系类型的token来表示交易，并结合了Time2Vec编码。在一个大型数据集上的实验表明，THGT-FD的AUC-ROC为0.8536，尽管基于直方图的梯度提升基线表现稍好，AUC-ROC为0.8722。研究表明，关系信息对于欺诈风险评估是有价值的。
-
LLM与分类器结合可提高信用违约预测性能
一项新的研究论文探讨了将大型语言模型（LLM）与传统分类器结合用于信用违约预测。研究发现，虽然LLM本身可以达到较高的召回率和F1分数，但在AUC-ROC方面落后于随机森林。提示LLM模仿分类器并未显示出显著改进，但将提示精简为分类器最重要的特征或将分类器的预测概率添加到提示中，可以增强LLM的性能，使其AUC-ROC与随机森林相当，同时保持更高的召回率。
-
论文：奖励函数选择显著影响 LLM 预测行为
一篇新论文探讨了不同的奖励函数（即 proper scoring rules）如何影响大型语言模型的预测能力和行为。尽管这些规则理论上鼓励诚实的概率报告，但研究发现，使用不同规则训练的模型在校准、概率使用以及偏差、信息和噪声的估计画像方面表现出差异。Brier 训练的模型在 Brier 分数和 AUC-ROC 方面表现最佳，而 log 训练的模型在 log 分数和校准误差方面表现出色，这表明奖励函数的选择不仅显著影响预测准确性，还影响…
-
AI模型利用纵向和图数据预测青少年物质使用
研究人员开发了先进的模型，利用ABCD研究的数据来预测青少年物质使用的发病率。通过比较横断面、纵向和基于图的方法，他们发现纵向模型在基线预测方面始终表现优于其他方法。时间XGBoost表现出最强的独立性能，而时间图卷积网络（T-GCNs）提供了互补的风险信号。通过分数级堆叠结合这些方法取得了最佳结果，识别出同伴偏差、年龄和父母监督等关键预测因素。
-
机器学习模型预测阿尔茨海默病早期阶段
研究人员开发了一种机器学习模型，利用阿尔茨海默病神经影像学计划 (ADNI) 数据集中的临床数据、神经心理学评分和神经影像学测量来预测阿尔茨海默病早期阶段。为解决缺失值和类别不平衡等挑战，该研究采用了迭代插补和 Borderline SVM-SMOTE，然后进行特征选择。训练了一个结合逻辑回归、Extra Trees、Bagging KNN 和 LightGBM 的堆叠集成模型，同时训练了一个人工神经网络，并使用精确率、召回率、F1 …
-
新的QC-SMOTE方法提高了不平衡分类的准确性
研究人员开发了QC-SMOTE，一种新颖的过采样框架，旨在提高不平衡数据集上的分类准确性。该方法通过结合一种质量控制方法来解决生成低质量合成样本的问题，该方法根据局部密度、安全级别以及与多数类的隔离度来评估样本的可靠性。在30个数据集上的实验表明，QC-SMOTE优于现有的过采样技术，在具有中度至严重类别不平衡的情况下，取得了更高的AUC-ROC和Macro F1分数。
-
Manokhin 概率矩阵为分类器质量提供新框架
研究人员引入了 Manokhin 概率矩阵，这是一个旨在评估分类器概率预测质量的新诊断框架。该框架区分了可靠性和分辨率，将分类器分为四种原型：Eagle、Bull、Sloth 和 Mole。一项对 21 个分类器和 30 个任务进行的实证研究发现，像 CatBoost 和 Random Forest 这样的模型是 Eagles，而 XGBoost 和 LightGBM 是 Bulls，这对事后校准具有特定意义。
-
Eugene Yan 使用图和 NLP 技术增强推荐系统
Eugene Yan 的博客文章详细介绍了构建优于基线矩阵分解模型的推荐系统的方法。该方法涉及使用自然语言处理 (NLP) 技术，特别是 word2vec，根据产品之间的关系生成产品向量表示。然后，借鉴 DeepWalk 等基于图的学习方法，通过识别相似项来使用这些产品嵌入进行推荐。