实体 Filtered-Corpus Training (FiCT)

Filtered-Corpus Training (FiCT)

PulseAugur coverage of Filtered-Corpus Training (FiCT) — every cluster mentioning Filtered-Corpus Training (FiCT) across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_158654 · Jul 23 · 04:00

研究发现，语言模型可在无直接曝光的情况下学习与众不同的协调

研究人员调查了语言模型是否能在其训练数据中没有直接曝光的情况下，学习理解与众不同的协调（一种将不同类别的元素连接起来的语言结构）。他们使用一种名为过滤语料库训练（FiCT）的方法对GPT-2模型进行训练，并从训练语料库中移除了所有与众不同的协调实例。研究发现，这些模型仍然能够泛化并正确处理与众不同的协调，其性能与在未过滤文本上训练的模型相当。对模型内部表征的分析表明，它们通过将连接的元素视为结构相似，或通过一种类似删除的机制来实现这一…

研究发现，语言模型可在无直接曝光的情况下学习与众不同的协调