Macro F1
PulseAugur coverage of Macro F1 — every cluster mentioning Macro F1 across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
QBSO-FS方法通过优化特征选择增强防火墙日志分析
研究人员开发了一种名为QBSO-FS的新型特征选择方法，该方法结合了蜂群优化和Q学习，以改进防火墙日志分析。该方法在UCI互联网防火墙数据集上使用随机森林、k近邻和伯努利朴素贝叶斯等分类器进行了测试。QBSO-FS方法成功识别出一小组特征，显著提高了分类准确率和Macro-F1分数，特别是对于去重数据上的随机森林，准确率达到99.90%，Macro-F1达到94.88%。
-
联邦学习框架实现隐私保护的表格到图像编码
研究人员开发了Fed-IGTD，一个利用联邦学习实现表格到图像编码的新型框架，无需集中敏感数据。该方法允许多个客户端通过仅共享本地统计数据来协同训练模型，服务器利用这些统计数据来重建全局相关矩阵并训练卷积神经网络。研究探讨了两种差分隐私机制，一种保护相关性聚合，另一种采用DP-FedAvg，发现映射构建过程中的隐私保护对性能影响很小，而DP-FedAvg在客户端数量少和隐私预算适中的情况下会显著降低效用。
-
知识蒸馏技术打造紧凑型糖尿病视网膜病变分级AI
研究人员开发了一种知识蒸馏技术，用于创建用于从视网膜眼底图像分级糖尿病视网膜病变的紧凑型模型。该方法成功地将来自 ResNet-50、MobileNetV3-Large 和 Swin Transformer-Tiny 等大型教师模型的知识蒸馏到一个更小的 MobileNetV3-Small 学生模型中。结果学生模型达到了 0.9093 的二次加权 kappa 值和 0.6851 的宏 F1 分数，与 Swin Transformer-…
-
新的MANTIS框架通过自适应训练增强虚假新闻检测能力
研究人员开发了MANTIS，一个旨在提高虚假新闻检测系统鲁棒性的新框架。该框架利用实例自适应对抗性训练，为每篇新闻文章动态适应最差情况，解决了现有方法常常依赖肤浅写作线索或单一风格文本修改的局限性。创建了新的基准数据集MANTIS-Bench，以促进在风格、情感和传播框架等各种重写轴上对这些系统的评估。实验表明，MANTIS显著降低了攻击成功率，并且优于以前的单轴防御。
-
二维半残差网络在肺结节恶性分类中领先
研究人员使用CT扫描比较了二维、二维半和三维残差网络在肺结节恶性风险分类中的有效性。研究发现，增强型二维半网络取得了最高的性能，宏F1得分为0.6537，准确率为0.6869。虽然增强通常能提高所有维度的性能，但测试的预训练方法并未带来相同的益处。研究强调，影响结果的是预处理和优化的差异，而不仅仅是维度。
-
新的SecLog-Bench基准揭示了LLM在网络安全日志推理方面的有限能力
一个名为SecLog-Bench的新基准已被开发出来，用于评估大型语言模型（LLM）在网络安全日志推理方面的能力。该基准通过提供更大的规模、整合多源日志（审计、应用程序和网络流量）以及为每个样本提供详细的、分步的证据链，解决了现有数据集的局限性。在SecLog-Bench上对八个主流LLM的评估显示，在攻击进展推理方面表现平平，表现最好的模型准确率仅为44.44%，Macro-F1仅为45.07%，表明当前LLM在该领域仍难以进行可靠的推理。
-
新的TOP-Gain方法提高了随机森林特征选择的准确性
研究人员开发了一种名为TOP-Gain（截断袋外概率增益）的新方法，用于随机森林中的特征选择。该技术旨在减少袋外预测中的噪声，从而实现更具可复现性和稳定性的特征集选择。在26个数据集的基准测试中，TOP-Gain在ROC-AUC、准确率和Macro-F1方面优于14种基线方法中的13种，同时所需的计算量明显少于同类方法。
-
新的TOP-Gain方法提高了随机森林特征选择的准确性
研究人员推出了一种新颖的随机森林包装器特征选择标准TOP-Gain，旨在减轻袋外预测中的噪声。该方法将概率增益的下降截断为零，在26个OpenML-CC18数据集的基准研究中表现出优越的性能。TOP-Gain在ROC-AUC、准确率和Macro-F1的平均排名中均取得最佳成绩，优于14个基线中的13个，同时与VSURF相比显著降低了计算成本。
-
LLM蒸馏：生成式模型在复杂数据上优于判别式模型
一篇新的研究论文探讨了将大型语言模型（LLM）的知识蒸馏到小型学生模型中以进行多标签主题分配的有效性。该研究在各种参数规模下比较了生成式和判别式学生模型架构，发现判别式模型在结构化产品评论方面表现出色，而生成式模型在复杂的对话数据上表现更好。研究还强调了生成式模型在处理大型标签集和长尾分布时具有更优越的鲁棒性，这显著影响了判别式基线。
-
AI框架通过证据和因素识别增强自杀风险评估
研究人员开发了一个从社交媒体帖子中进行自杀风险评估的框架，该框架超越了简单的预测。该系统包括风险评估、证据基础和心理社会因素识别。风险评估组件使用基于长度的路由来处理帖子，而证据基础将预测与支持性短语联系起来。心理社会因素识别采用两个验证器，一个关注语义，另一个关注词汇-语义线索，以选择信息性训练数据。这种方法旨在通过提供风险水平以及导致评估的具体文本证据和心理社会因素，来提供对在线内容更具可解释性的分析。
-
新基准TeleAntiFraud 2.0旨在应对不断演变的电信欺诈检测
研究人员推出了TeleAntiFraud 2.0，一个旨在改进电信欺诈检测的新基准。该基准通过纳入新观察到的欺诈模式而不改变先前的测试集，来应对不断演变的诈骗策略的挑战。它还侧重于区分欺诈电话和合法的、相似领域的对话，而不是依赖于易于区分的负面示例。该数据集使用混合树反欺诈生成管道生成，每月评估集包含900个中文电话，其中600个为欺诈电话，300个为近领域非欺诈案例。
-
研究发现LLM数据审计不能保证非洲NLP的下游效用
一篇新发表在arXiv上的研究调查了低资源非洲语言合成数据选择方法的有效性。研究发现，普遍认为由LLM评估器高度评价的数据将提高下游模型性能的代理指标并不成立。在四种语言和两个任务中，基于LLM审计的数据质量排名与实际下游性能存在显著差异。该研究提出了一个反事实审计框架“V2”，它提高了评估标签的正确性，但仍不能保证下游效用，突显了合成数据评估需要在相同的保留集上报告审计和下游指标的必要性。
-
研究发现高光谱分类评估存在缺陷
一篇新发表在arXiv上的研究论文强调了高光谱图像分类标准评估方法存在的重大缺陷。研究发现，像Salinas等数据集上常见的随机像素分割做法会导致准确率得分虚高，因为测试像素经常与训练像素相邻。当一种无泄露的评估协议应用于十种不同的架构时，平均Macro-F1得分下降了0.147，模型排名也发生了显著变化。研究还发现，许多架构未能解决数据中固有的光谱歧义，导致不同模型出现相似的错误分类模式。
-
专家指导技能提示提高了中文隐喻识别的跨数据集稳定性
研究人员调查了在不同数据集上改进中文隐喻识别的方法。他们比较了四种方法：BERT微调（BERT-FT）、基于QLoRA的大模型微调（LLM-FT）、直接零样本大模型提示（LLM-ZS）以及带有程序性技能的零样本提示（Skill-ZS）。虽然微调方法在其原生数据集上达到了更高的准确率，但Skill-ZS在多个外部数据集上表现出更稳定的性能，表明它是一种用于获得一致的跨数据集结果的补充方法。
-
研究论文分析了机器学习中物理先验的成本
一篇新发表在arXiv上的研究论文探讨了将物理先验纳入机器学习模型所产生的成本。研究表明，这种成本主要受自由特征和验证集划分的影响，而不仅仅是先验本身的属性。研究结果表明，受约束的模型不应被其消融版本超越，并且在野火严重性任务上的实证结果说明了坐标如何充当保护罩，显著降低了应用先验的成本。
-
新框架为量子联邦学习的 ansatz 结构实现个性化
研究人员推出了一种新颖的个性化量子联邦学习框架 PAS-QFL，旨在解决客户端之间数据异构性问题。与先前假设所有参与者采用统一 ansatz 结构的方法不同，PAS-QFL 允许每个客户端拥有个性化的 ansatz 结构。这种方法旨在通过适应多样化的本地数据分布，特别是在类别不平衡的情况下，来提高训练量子神经网络的稳定性和公平性。
-
新的CrossSpine框架提升了腰椎间盘退变自动分级的性能
研究人员开发了一个名为CrossSpine的新框架，以改进腰椎间盘退变的自动分级。这种新颖的架构利用跨序列注意力机制，有效地融合了来自不同MRI序列、跨越多个空间尺度的特征。此外，该框架还采用了一种感知椎间盘（IVD-aware）的分类技术，该技术利用解剖学上的椎间盘水平信息来学习每个水平特有的退变先验。实验表明，CrossSpine显著优于基线模型，在Macro F1分数上提高了125%以上，并在AUPRC和AUROC方面取得了显著的提升。
-
研究发现：事实核查基准存在“污染”缺陷 · 已追踪2个来源
一篇新的研究论文对评估多模态自动事实核查（MAFC）系统的现有基准的有效性提出了质疑。研究表明，即使是使用在大型语言模型（LLM）知识截止日期之后发布的声明的动态基准，仍然存在污染问题。这种污染，即声明可以通过预先存在的知识进行验证，可以将性能指标最多提高11.34个Macro-F1点，并扭曲系统排名。研究人员提出了更值得信赖的MAFC评估的实用指南。
-
AI框架利用骨架数据增强从身体运动中识别情感的能力
研究人员开发了一个新颖的框架，用于利用骨架数据从身体运动中识别情感。该方法结合了多个分支，包括一个基于6D旋转的分支、一个部分感知的动力学多流分支以及一个元数据条件弱标签分布学习分支。在MMAC ACII 2026挑战赛的DIEM-A任务中，该系统通过利用细微的动态和关系运动线索，取得了比基线更高的准确率和Macro-F1分数。
-
新框架检测大语言模型（LLM）代理技能中的不对齐现象
研究人员开发了一个名为渐进式加载感知分层对比学习（PL-HCL）的新框架，用于检测大语言模型（LLM）代理技能的描述与其实际行为之间的一致性。该方法模拟了代理技能的分层结构，并学习跨层一致性以识别不对齐。在使用大型开源技能语料库进行的评估中，PL-HCL 显著提高了检测准确率，宏观 F1 分数达到 0.87-0.89，远高于基线分数约 0.45。该框架旨在作为用户和操作员的筛选工具，并为识别分层数字制品中的差异提供设计原则。