实体 vocabulary bias

vocabulary bias

PulseAugur coverage of vocabulary bias — every cluster mentioning vocabulary bias across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_336252 · Nov 2 · 05:00

新方法试图修复语言模型的“遗忘”问题

研究人员开发了一种方法来缓解语言模型的“遗忘”现象，即模型在针对新指令或主题进行微调后，其预测标准文本的能力会下降。所提出的技术涉及对模型最终的 token 预测应用固定的调整，例如词汇偏差或温度修改。虽然这些固定的调整可以恢复高达 36% 在未见文本上损失的性能，但大部分原始损失仍未得到解决，特别是对于在数学数据集上进一步预训练的模型。