masked language model
PulseAugur coverage of masked language model — every cluster mentioning masked language model across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
OntoBook 方法通过合成教科书增强医学编码器预训练
研究人员开发了 OntoBook，一种使用合成医学教科书预训练编码器语言模型的新颖方法。该方法将医学本体结构转换为文本，然后用于训练 ModernCamemBERT 等模型。OntoBook 在法国医学编码基准测试中表现出显著的改进，优于标准的掩码语言模型预训练。
-
新的多智能体框架可从文本中检测OCEAN人格特质
研究人员开发了一个新颖的多智能体框架，旨在从人生叙述中准确评估OCEAN人格特质。该系统利用子智能体，每个子智能体通过掩码语言建模和心理测量学监督，针对每个特质调整为采用特定视角（高、低或中性）。然后，一个裁判LLM聚合这些子智能体的输出来生成最终的特质预测，旨在捕捉不同的观点并减少个体模型的偏差。该框架被提出为一种可扩展且可解释的基于文本的个性推断方法，强调了具有心理测量学基础的多智能体推理的优势。
-
AI模型通过提高点击率和质量来改进广告标题生成 · 已追踪2个来源
两篇新研究论文提出了先进的广告标题生成方法。一篇论文介绍了一种名为COBART的受控、优化、双向、自回归Transformer模型，该模型使用前缀控制令牌进行微调，ROUGE-L得分提高了25.82%，估计点击率提高了5.82%。另一篇论文提出了一种使用强化学习策略梯度的自批判掩码语言模型方法，该方法在语法和创意质量审计方面优于现有的Transformer和LSTM+RL方法，甚至优于人类提交的标题。
-
新的ASR技术解决语音错误并提高判断可靠性
研究人员正在开发先进的方法来改进自动语音识别（ASR）系统，特别是在低资源语言方面以及解决特定类型的错误。一种名为Error-Aware TF-IDF的方法使用一种新颖的算法，根据历史语音错误识别来优先处理更正文档，从而显著降低词错误率。另一种名为G-SPIN的方法将语音图模型与大型语言模型相结合，通过将搜索空间限制在合理的语音替代方案内来纠正语义关键错误。此外，一项研究质疑用于评估LLM越狱尝试的自动判断的可靠性，揭示了其准确性和鲁…
-
概率Transformer扩展至0.4B参数，性能优于标准模型
研究人员开发了一种方法，通过使用最大更新参数化（muP）将超参数从较小模型迁移到较大模型来扩展概率Transformer（PT）。该技术解决了PT对超参数选择的敏感性问题，使其能够高效地扩展到拥有多达0.4亿参数的模型。实验表明，在参数数量相同的情况下，这些扩展后的PT在掩码语言建模任务上的表现优于标准Transformer。