实体
decoder-only models
decoder-only models
PulseAugur coverage of decoder-only models — every cluster mentioning decoder-only models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Neurograf v1：罗马尼亚语优先语言模型家族发布
研究人员推出了 Neurograf v1，这是一个从头开始开发的语言模型家族，专注于罗马尼亚语。该实验性流程包括一个大型罗马尼亚语语料库、一个自定义分词器以及五个不同大小的仅解码器模型，同时还有指令微调的助手和嵌入模型。该研究强调了创建罗马尼亚语优先模型的可行性，并指出了该过程中的实际挑战，例如语料库质量和分词效率。
-
双语AI模型显示隐藏状态差异，尽管嵌入已对齐
一篇题为“双重麻烦：双语预训练在共享语言表示中留下语言条件效应”的新研究论文指出了比较多语言语言模型的一个关键缺陷。研究人员发现，虽然对仅英语模型和双语模型的嵌入空间进行对齐可以使词元嵌入看起来相似，但用于预测的更深层隐藏状态并未对齐。这种在八种不同语言中观察到的差异表明，嵌入对齐可能会掩盖模型内部显著的表示差异，从而影响跨语言迁移和可解释性研究的可靠性。
-
新方法利用无标签数据提升仅解码器模型的分类性能
研究人员开发了DecSelfMask，一种利用无标签数据提高仅解码器语言模型分类性能的新颖方法。该方法采用相关性引导掩码策略，识别关键文本片段并训练模型进行重构。在190万份临床笔记的数据集上，DecSelfMask在宏观F1分数上比标准的监督微调方法提高了近20个百分点，表现显著。