实体 Qwen3-4B-OPSA

Qwen3-4B-OPSA

PulseAugur coverage of Qwen3-4B-OPSA — every cluster mentioning Qwen3-4B-OPSA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_229181 · Aug 31 · 00:00

新的 OPSA 方法质疑 on-policy distillation 的有效性

研究人员质疑了 on-policy distillation (OPD) 在大型语言模型中的有效性，发现其监督可能存在噪声，并且学生模型对这种噪声基本不敏感。OPD 的收益似乎源于抑制低概率 token，而非直接的教师指导。这促使了 On-Policy Self-Adaptation (OPSA) 的开发，这是一种新的无监督方法，利用熵自适应负优势来提高模型性能。OPSA 显著提升了推理能力，在 AIME24 等基准测试中表现优于 OPD。