BERT based Web Mining of Concerns and Reviews for TV Drama Audience
PulseAugur coverage of BERT based Web Mining of Concerns and Reviews for TV Drama Audience — every cluster mentioning BERT based Web Mining of Concerns and Reviews for TV Drama Audience across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
BERT 模型在网络安全研究中用于 CVE 到 CWE 映射的比较
一篇新的研究论文探讨了不同 BERT 模型在将常见漏洞和暴露 (CVE) 映射到常见弱点枚举 (CWE) 类别方面的有效性。该研究使用 BERT Base、SecureBERT 和 CySecBERT 比较了多类别和多标签分类方法。结果表明，多类别训练通常能获得更高的宏观 F1 分数，尽管在标签空间较小时差距会缩小。研究还表明，CWE 分类法的结构对分类错误有显著影响，其影响程度超过了编码器的选择。
-
新的SRL框架通过显式结构提供10倍更快的推理速度
研究人员开发了一个新的语义角色标注（SRL）框架，提高了效率并保留了显式的谓词-论元结构。这种现代化的方法利用BERT-base、RoBERTa和DeBERTa等模型，实现了比传统方法快十倍的推理速度，同时保持了相当或更优的性能。该框架的依赖分析还表明，结构线索能显著提高稳定性，并可应用于多语言SRL投影等下游任务。
-
研究人员分析 Transformer 表征坍塌并提出新补救措施
一篇新论文分析了 Transformer 模型中的表征坍塌，挑战了之前关于 MLP 和层归一化作用的发现。研究阐明，虽然层归一化保留了仿射秩，但残差连接可以在没有 MLP 的情况下防止秩坍塌。该论文还确定了多头注意力中一个独特的头-通道不可识别问题，并提出了一种位置门控输出投影作为部分解决方案。