实体
DeepSeek-R1-Distill-Llama-8B
DeepSeek-R1-Distill-Llama-8B
PulseAugur coverage of DeepSeek-R1-Distill-Llama-8B — every cluster mentioning DeepSeek-R1-Distill-Llama-8B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法增强了用于 LLM 训练的 on-policy distillation
研究人员开发了改进 on-policy distillation (OPD) 的新方法，OPD 是一种利用大型模型训练小型语言模型的技术。一种方法 TIP，通过分析学生熵和师生分歧来识别信息性 token，实现了显著的内存减少和性能提升。另一种方法 SimCT，通过扩展监督空间以包含多 token 续写来解决不同分词器的问题，恢复了丢失的信号并提高了推理和代码生成任务的性能。此外，EffOPD 通过优化更新轨迹和模块分配来加速 OPD…
-
新研究揭示“耦合税”限制了大型语言模型的推理准确性
一篇新研究论文引入了大型语言模型中的“耦合税”概念，强调了用于推理和最终答案的共享令牌预算如何会损害准确性。研究发现，对于某些任务和模型，在令牌预算有限的情况下，“非思考”模式的表现通常与思维链推理一样好，甚至更好。研究人员提出将预算拆分生成作为一种缓解策略，该策略将推理和答案预算解耦以提高性能。