autoregressive language models
PulseAugur coverage of autoregressive language models — every cluster mentioning autoregressive language models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的贝叶斯惩罚可逆转语言模型中的注意力崩溃
研究人员开发了一个名为贝叶斯重复惩罚（Bayesian Repetition Penalty）的新框架，以解决自回归语言模型中注意力崩溃的问题。这种病理会导致模型陷入重复循环。该框架通过将生成过程中标记的观察频率与其语料库先验进行比较来工作，并使用相邻条件概率构造。这种方法允许一个封闭形式的logit偏移，可以作为冻结的输出层偏差应用，从而在不改变其训练管道的情况下有效修复崩溃的模型。实验表明，该技术可以在保持生成质量的同时显著减少重复。
-
新框架通过条件敏感性检测AI版权侵权
研究人员开发了一个名为双分支条件敏感性（DCS）的新框架，用于检测AI生成内容中的版权侵权。该框架将侵权视为一种条件分布变化，通过衡量模型输出在训练数据包含或移除特定受版权保护的目标时如何变化来衡量。DCS旨在区分对受版权保护材料的真实记忆与模型普遍不稳定或常见风格元素。该框架已应用于各种模型类型，包括自回归语言模型和多模态模型，使用了预测差距和嵌入发散等指标。
-
新研究解决扩散语言模型的局限性
研究人员正在探索改进扩散语言模型（DLM）的新方法，与自回归模型相比，DLM 提供了更快的推理速度。几篇近期论文介绍了增强 DLM 性能的技术，包括用于解耦重掩码的 NAVIRA、用于使用丢弃标记进行检索增强生成的 SARDI，以及用于支持标记揭示的 AXON。另一项研究确定了 DLM 的局限性，例如局部性偏差和来自掩码标记的干扰，并提出了一种无掩码的损失函数来改善上下文理解。此外，一项调查全面概述了 DLM 的格局，涵盖了基本原理、…