PulseAugur
实时 10:20:58
实体 Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation

Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation

PulseAugur coverage of Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation — every cluster mentioning Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_123097 ·

    新的LLM自蒸馏方法使用神经元激活进行无标注训练

    研究人员推出了一种新颖的训练大型语言模型(LLM)的框架——神经元策略内自蒸馏(Neuron On-Policy Self-Distillation, Neuron-OPSD),该框架无需人工标注数据或真实世界交互反馈。该方法利用模型的内部神经元激活来指导训练数据的选择和教师模型的构建。Neuron-OPSD框架通过教师模型的输出分布进行策略内蒸馏来训练模型,与现有的无标注方法相比,在领域内性能和跨领域泛化能力方面均有所提升,同时还减…