实体
causal language models
causal language models
PulseAugur coverage of causal language models — every cluster mentioning causal language models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
语言模型语义空间对词语关系的表征各异
研究人员调查了语言模型向量空间中语义关系的几何表征。他们的研究探讨了与目标词相关的词是否占据相似的区域，以及不同关系是否具有不同的区域。研究结果表明，在非对称关系中，相关词倾向于比对称关系中的相关词更清晰地聚集在一起，并且模型部分编码了对称性和传递性等属性。研究还强调，因果语言模型更依赖词汇信息，而掩码模型和扩散模型则优先考虑上下文信息来构建关系几何。
-
新框架统一了因果和掩码模型的上下文学习分析
研究人员开发了一个统一的统计学习框架，用于分析因果和掩码语言模型的上下文学习（ICL）能力。该框架将自回归和掩码预训练目标置于共同的超额风险分析中，为两者提供了理论界限。实验表明，像掩码对编码器（MPE）这样的掩码语言模型可以达到与GPT-2风格的因果Transformer相当的性能，这表明ICL并非因果模型的专属。
-
新研究揭示AI模型OOD检测评估方法存在缺陷
一篇新发表在arXiv上的论文，对证据深度学习（EDL）中关于分布外（OOD）检测的评估提出了一个关键发现。研究表明，常用的“空洞性”（vacuity）指标对分布内（ID）和OOD数据集之间类别基数（class cardinality）的差异非常敏感。这种敏感性即使在模型预测保持不变的情况下，也能人为地提高AUROC和AUPR等评估分数。该论文主张对ID和OOD进行更精确的定义，特别是在使用MCQA数据集评估因果语言模型上的EDL时。