PulseAugur
中
实时 07:06:35
实体 GPT-BERT

GPT-BERT

PulseAugur coverage of GPT-BERT — every cluster mentioning GPT-BERT across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_360294 ·

    新的罗马尼亚语基准 BLiMP-RO 评估语言模型语法

    研究人员开发了 BLiMP-RO,这是一个旨在评估语言模型在罗马尼亚语方面语法知识的新基准。该基准包含 493 对由语言学家构建的句子和 5,900 多对经过人类验证的额外句子,涵盖 50 种不同的语法现象。使用在罗马尼亚语数据上训练的 GPT-2 和 GPT-BERT 模型进行的实验表明,增加训练数据的数量和质量可显著提高语法泛化能力,其中 BabyBabelLM 数据通常优于视频字幕,而 GPT-BERT 的性能优于 GPT-2。

  2. TOOL · CL_245238 ·

    Looped GPT-BERT模型在语言建模中用计算换参数

    研究人员开发了一种名为 Looped GPT-BERT 的新型语言模型,该模型在语言和下游任务上取得了与现有模型相当的性能,同时使用的参数更少。这是通过采用深度参数共享和循环遍历来实现的,有效地用计算换参数。该模型在一个有限的英语语料库上进行了训练,并在 BabyLM 2026 Strict-small 设置下进行了评估,在 BLiMP 和 GLUE 等指标上显示出有希望的结果,尽管也注意到了由于循环设计可能在表示空间中存在局限性。