Matthews' correlation coefficient
PulseAugur coverage of Matthews' correlation coefficient — every cluster mentioning Matthews' correlation coefficient across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
New pruning method uses Fisher information distances for neural networks
研究人员为神经网络引入了一种新颖的参数剪枝技术，该技术基于模型空间内的微分几何距离。该方法使用 Fisher 信息度量定义的测地线距离，量化了参数归零的超曲面的最小距离。该方法产生了一个剪枝方法层级，从幅度剪枝开始，逐步发展到更高级、更有效的方案。该技术在全连接网络和视觉 Transformer 的各种数据集上进行了演示，在准确性和 Matthews 相关系数方面始终优于现有方法，为剪枝提供了数学上合理的解释。
-
为不平衡分类问题提出新指标
一篇新的研究论文介绍了对不平衡分类问题中常用性能指标的鲁棒性改进。作者们证明，当类别不平衡严重时，像 Matthews 相关系数 (MCC) 和 F1 分数这样的现有指标可能会不公平地偏袒忽略少数类别的分类器。提出的改进包括一个调整参数，以适应针对类别不平衡的鲁棒性，确保少数类别的真正率保持远离零。
-
AI 预测量子模拟的高效哈密顿量分解
研究人员开发了机器学习模型来预测量子行走模拟最高效的哈密顿量分解。通过分析 11,117 个连通的八顶点图，他们发现分解中的项数（n_Pauli 和 n_match）比标准的拓扑图属性更具预测性。单隐藏层神经网络在八顶点图测试集上达到了 0.593 的马修斯相关系数，并表现出对高达 256 个顶点的更大图的强大迁移能力，达到了 1.0 的 MCC。
-
SoftMCC框架增强了不平衡分类模型的选择
研究人员推出了一种新颖的训练后框架SoftMCC，旨在改进不平衡二分类任务的模型选择。该方法通过利用概率值混淆计数，解决了传统Matthews相关系数（MCC）验证中固有的阈值依赖性问题。跨多个设置的实验表明，与AUPRC和[email protected]等其他指标相比，SoftMCC实现了更优越的稳定性和排名，尽管在所选模型的效用方面未显示出优势。
-
新的基准和数据集推动音频、图像和视频的深度伪造检测
研究人员推出了几个新的数据集和基准，旨在改进跨各种媒体的深度伪造检测。Echoes 专注于音乐深度伪造，强调语义对齐和提供商多样性，以创建更强大的检测模型。VendorBench-100 提供了一个统一的框架，用于评估商业 API、视觉语言模型和开源检测器中的深度伪造图像检测，突出了性能差异和指标分歧。HumanForge 采用以人为中心的方法来检测深度伪造视频，使用多代理管道进行注释，并专注于人与物体以及人与人之间的交互。此外，…
-
研究论文确定了脑机接口拼写准确性的关键指标
本研究论文探讨了在事件相关电位（ERP）脑机接口（BCI）中，哪些性能指标最能反映拼写速率的准确性。研究分析了两个数据集（私有的LARESI数据集和公开的OpenBMI数据集）中的13项指标，以确定它们在反映用户拼写性能方面的有效性，尤其是在ERP应用中常见的数据不平衡分布情况下。研究结果表明，Brier分数、Matthews相关系数（MCC）以及考虑类别不平衡的指标，如ROC AUC、PR AUC、AP和pAUC，最能指示拼写性能，…
-
新语料库和指标推动大语言模型在系统文献评价中的应用
两篇新研究论文探讨了大语言模型（LLMs）在系统评价领域的应用。第一篇论文介绍了一个大规模、跨学科的语料库，包含超过30万篇系统评价，旨在改进检索和筛选组件的基准测试。第二篇论文LLM4SCREENLIT提出了评估大语言模型在文献筛选中性能的建议，并提出了一种加权马修斯相关系数（WMCC），以更好地考虑该任务的失衡性质。
-
新的LCEN算法和diffMCC损失提升分类任务性能
研究人员开发了一种专门用于分类任务的改进型LASSO-Clip-EN (LCEN)算法，保持了其可解释性和特征选择能力。实验表明，这种新的LCEN算法始终能获得较高的宏F1分数和Matthews相关系数（MCC），性能优于大多数其他测试模型，并消除了平均56%的输入特征。此外，还评估了一种新颖的加权焦点可微分MCC（diffMCC）损失函数，结果表明使用该损失函数训练的模型在F1分数和MCC方面始终优于使用加权交叉熵损失训练的模型。