PulseAugur
实时 13:56:29
实体 EKSFT

EKSFT

PulseAugur coverage of EKSFT — every cluster mentioning EKSFT across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_51028 ·

    新研究探索用于LLM微调和预训练的高级掩码技术

    研究人员正在探索新颖的掩码策略,以改进大型语言模型的微调和预训练。一种方法EKSFT在监督微调期间选择性地掩盖高熵或KL散度高的token,以保留模型的预训练分布并增强后续的强化学习探索。另一种方法侧重于掩码语言建模的熵感知掩码,识别信息量大和不确定的token,以提高训练效率并取得性能提升。第三种策略语义掩码专家策略优化(SMEPO)在专家指导的强化学习中使用细粒度的语义掩码,通过强制模型重建被掩盖的与奖励相关的信息来防止奖励黑客行…