Matthews correlation coefficient
PulseAugur coverage of Matthews correlation coefficient — every cluster mentioning Matthews correlation coefficient across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的基准和数据集推动音频、图像和视频的深度伪造检测
研究人员推出了几个新的数据集和基准，旨在改进跨各种媒体的深度伪造检测。Echoes 专注于音乐深度伪造，强调语义对齐和提供商多样性，以创建更强大的检测模型。VendorBench-100 提供了一个统一的框架，用于评估商业 API、视觉语言模型和开源检测器中的深度伪造图像检测，突出了性能差异和指标分歧。HumanForge 采用以人为中心的方法来检测深度伪造视频，使用多代理管道进行注释，并专注于人与物体以及人与人之间的交互。此外，…
-
研究论文确定了脑机接口拼写准确性的关键指标
本研究论文探讨了在事件相关电位（ERP）脑机接口（BCI）中，哪些性能指标最能反映拼写速率的准确性。研究分析了两个数据集（私有的LARESI数据集和公开的OpenBMI数据集）中的13项指标，以确定它们在反映用户拼写性能方面的有效性，尤其是在ERP应用中常见的数据不平衡分布情况下。研究结果表明，Brier分数、Matthews相关系数（MCC）以及考虑类别不平衡的指标，如ROC AUC、PR AUC、AP和pAUC，最能指示拼写性能，…
-
新语料库和指标推动大语言模型在系统文献评价中的应用
两篇新研究论文探讨了大语言模型（LLMs）在系统评价领域的应用。第一篇论文介绍了一个大规模、跨学科的语料库，包含超过30万篇系统评价，旨在改进检索和筛选组件的基准测试。第二篇论文LLM4SCREENLIT提出了评估大语言模型在文献筛选中性能的建议，并提出了一种加权马修斯相关系数（WMCC），以更好地考虑该任务的失衡性质。
-
新的LCEN算法和diffMCC损失提升分类任务性能
研究人员开发了一种专门用于分类任务的改进型LASSO-Clip-EN (LCEN)算法，保持了其可解释性和特征选择能力。实验表明，这种新的LCEN算法始终能获得较高的宏F1分数和Matthews相关系数（MCC），性能优于大多数其他测试模型，并消除了平均56%的输入特征。此外，还评估了一种新颖的加权焦点可微分MCC（diffMCC）损失函数，结果表明使用该损失函数训练的模型在F1分数和MCC方面始终优于使用加权交叉熵损失训练的模型。