实体
causal language models
causal language models
PulseAugur coverage of causal language models — every cluster mentioning causal language models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架统一了因果和掩码模型的上下文学习分析
研究人员开发了一个统一的统计学习框架，用于分析因果和掩码语言模型的上下文学习（ICL）能力。该框架将自回归和掩码预训练目标置于共同的超额风险分析中，为两者提供了理论界限。实验表明，像掩码对编码器（MPE）这样的掩码语言模型可以达到与GPT-2风格的因果Transformer相当的性能，这表明ICL并非因果模型的专属。
-
新研究揭示AI模型OOD检测评估方法存在缺陷
一篇新发表在arXiv上的论文，对证据深度学习（EDL）中关于分布外（OOD）检测的评估提出了一个关键发现。研究表明，常用的“空洞性”（vacuity）指标对分布内（ID）和OOD数据集之间类别基数（class cardinality）的差异非常敏感。这种敏感性即使在模型预测保持不变的情况下，也能人为地提高AUROC和AUPR等评估分数。该论文主张对ID和OOD进行更精确的定义，特别是在使用MCQA数据集评估因果语言模型上的EDL时。