masked language models
PulseAugur coverage of masked language models — every cluster mentioning masked language models across labs, papers, and developer communities, ranked by signal.
-
新流程可消除语言模型中短语级别的刻板印象
研究人员开发了一种“通用短语去偏器”（General Phrase Debiaser），这是一种旨在减轻掩码语言模型中短语级别偏差的新型流程。该方法从维基百科等来源识别刻板印象短语，然后在多词元级别上消除模型的偏差。实验表明，在不同学科和模型规模下，性别偏差显著减少，弥补了先前词级别去偏技术的不足。
-
语言模型语义空间对词语关系的表征各异
研究人员调查了语言模型向量空间中语义关系的几何表征。他们的研究探讨了与目标词相关的词是否占据相似的区域，以及不同关系是否具有不同的区域。研究结果表明，在非对称关系中，相关词倾向于比对称关系中的相关词更清晰地聚集在一起，并且模型部分编码了对称性和传递性等属性。研究还强调，因果语言模型更依赖词汇信息，而掩码模型和扩散模型则优先考虑上下文信息来构建关系几何。
-
AI模型通过提高点击率和质量来改进广告标题生成 · 已追踪2个来源
两篇新研究论文提出了先进的广告标题生成方法。一篇论文介绍了一种名为COBART的受控、优化、双向、自回归Transformer模型，该模型使用前缀控制令牌进行微调，ROUGE-L得分提高了25.82%，估计点击率提高了5.82%。另一篇论文提出了一种使用强化学习策略梯度的自批判掩码语言模型方法，该方法在语法和创意质量审计方面优于现有的Transformer和LSTM+RL方法，甚至优于人类提交的标题。
-
新框架统一了因果和掩码模型的上下文学习分析
研究人员开发了一个统一的统计学习框架，用于分析因果和掩码语言模型的上下文学习（ICL）能力。该框架将自回归和掩码预训练目标置于共同的超额风险分析中，为两者提供了理论界限。实验表明，像掩码对编码器（MPE）这样的掩码语言模型可以达到与GPT-2风格的因果Transformer相当的性能，这表明ICL并非因果模型的专属。