实体
Qwen3-0.6B-Base
Qwen3-0.6B-Base
PulseAugur coverage of Qwen3-0.6B-Base — every cluster mentioning Qwen3-0.6B-Base across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Qwen3-0.6B-Base模型在注意力线性化中遭受“接口损伤”
研究人员在Qwen3-0.6B-Base语言模型注意力层线性化中发现了一个特定问题，模型过度依赖答案标签而非内容。尽管通过蒸馏实现了与原始模型接近的困惑度，但线性化版本在多项选择任务上表现不佳，持续偏好第一个选项。有针对性的KL蒸馏阶段成功修复了这种“接口损伤”，显著提高了基准准确性并降低了标签粘滞性。
-
新研究将LLM训练后阶段的视角从Token转向状态分布
研究人员提出了一种新的大语言模型训练后阶段的视角，将重点放在状态分布而非仅仅是Token。他们的研究表明，训练状态的来源和局部性与监督信号本身同等重要。使用Qwen3-0.6B-Base进行的实验表明，来自较弱教师模型的On-Policy蒸馏仍然可以提高多个基准的性能，而轻量级强化学习在保留原有能力的同时增强了特定任务的表现。