Pre Trained Language Models
PulseAugur coverage of Pre Trained Language Models — every cluster mentioning Pre Trained Language Models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
基于LLM的框架为网络安全推文生成弱标签
研究人员开发了一种新颖的师生框架，利用大型语言模型（LLM）为网络安全推文生成弱标签。该方法通过使专门的预训练语言模型（PLM）无需大量专家输入即可进行训练，从而解决了网络威胁情报（CTI）手动标注的瓶颈。实验表明，使用LLM生成的标签训练的PLM达到了0.92以上F1分数，表现与使用完全人工监督训练的模型相当。
-
调查梳理了从PLM到LLM的虚假评论检测
一篇新的调查论文审视了虚假评论检测不断发展的格局，追溯了从传统机器学习到利用预训练语言模型（PLM）和大型语言模型（LLM）的先进技术的方法。该论文根据证据来源和融合级别组织了2018年至2026年初的211项研究，包括文本、情感、用户行为、时间数据和多模态内容。它分析了在Amazon和Yelp等基准数据集上的性能趋势，同时还强调了当前评估程序的局限性，并确定了诸如对抗性生成、跨领域迁移以及AI生成欺骗性内容的解释性等开放性挑战。
-
Attention expansion boosts keyphrase extraction from long documents
研究人员开发了一种“注意力扩展”机制，以改进从长文档中提取关键词。该方法使用词嵌入将预训练语言模型（PLM）的表示与周围文本的信息相结合，有效地拓宽了模型的上下文范围，而无需进行全文档注意力或昂贵的LLM推理。在各种PLM骨干和数据集上的评估显示出一致的性能提升，确立了注意力扩展作为长文档KPE的有效策略。
-
新框架使用SHAP和LLM来解释教学质量分数
研究人员开发了一个新框架，用于解释自动化评分模型如何为复杂的语言表现（如课堂记录）分配质量评级。该框架结合了模型无关的Shapley值归因和大型语言模型（LLM）生成的解释。在CLASS框架的反馈质量维度上的测试中，Shapley值在解释模型预测方面比LLM生成的理由更可靠和可转移。
-
SemStruct框架利用PLMs和GNNs改进模式匹配
研究人员开发了SemStruct，一个用于模式匹配的新框架，它结合了预训练语言模型（PLMs）的语义理解能力和图神经网络（GNNs）的结构分析能力。这种方法将表格数据建模为图，使其能够捕获在将表格视为简单文本序列时常常丢失的关键行级上下文。SemStruct在基准测试中取得了最先进的性能，甚至优于微调大型语言模型的方法，同时保持PLM冻结，仅训练一个轻量级的结构编码器。
-
新的模糊指纹方法增强了用于对话情感识别的预训练语言模型
研究人员开发了一种将预训练语言模型（PLMs）与模糊指纹（FFPs）相结合的新方法，以提高对话中的情感识别能力。该方法解决了PLMs在数据集中不平衡时，经常将少数情感错误地归类为中性情感的问题。FFPs提供了特定类别的原型，有助于理解分类过程，从而减少了过度分类为中性类别的情况，并提高了性能。