Pre Trained Language Models
PulseAugur coverage of Pre Trained Language Models — every cluster mentioning Pre Trained Language Models across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Attention expansion boosts keyphrase extraction from long documents
研究人员开发了一种“注意力扩展”机制，以改进从长文档中提取关键词。该方法通过引入周围文本块的信息来增强预训练语言模型的表示，有效地拓宽了模型的上下文范围，而无需进行全文档注意力或昂贵的大型语言模型推理。在各种模型和数据集上的实验显示出一致的性能提升，确立了注意力扩展作为长文档关键词提取的有效策略。
-
新框架使用SHAP和LLM来解释教学质量分数
研究人员开发了一个新框架，用于解释自动化评分模型如何为复杂的语言表现（如课堂记录）分配质量评级。该框架结合了模型无关的Shapley值归因和大型语言模型（LLM）生成的解释。在CLASS框架的反馈质量维度上的测试中，Shapley值在解释模型预测方面比LLM生成的理由更可靠和可转移。
-
SemStruct框架利用PLMs和GNNs改进模式匹配
研究人员开发了SemStruct，一个用于模式匹配的新框架，它结合了预训练语言模型（PLMs）的语义理解能力和图神经网络（GNNs）的结构分析能力。这种方法将表格数据建模为图，使其能够捕获在将表格视为简单文本序列时常常丢失的关键行级上下文。SemStruct在基准测试中取得了最先进的性能，甚至优于微调大型语言模型的方法，同时保持PLM冻结，仅训练一个轻量级的结构编码器。
-
新的模糊指纹方法增强了用于对话情感识别的预训练语言模型
研究人员开发了一种将预训练语言模型（PLMs）与模糊指纹（FFPs）相结合的新方法，以提高对话中的情感识别能力。该方法解决了PLMs在数据集中不平衡时，经常将少数情感错误地归类为中性情感的问题。FFPs提供了特定类别的原型，有助于理解分类过程，从而减少了过度分类为中性类别的情况，并提高了性能。