实体
Summary Distillation
Summary Distillation
PulseAugur coverage of Summary Distillation — every cluster mentioning Summary Distillation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
通过蒸馏改进小型语言模型在法律摘要方面的能力
研究人员开发了一种序列级蒸馏方法，以增强小型大型语言模型（LLM）总结长篇法律意见的能力。该技术使用一个较大的“教师”模型来指导一个较小的“学生”模型的训练，事实证明比在专家撰写的摘要上进行微调更有效。该方法在最少数量的训练摘要下实现了显著的改进，显示出高数据效率。研究发现，仅蒸馏摘要内容就已足够，额外蒸馏推理链仅带来边际效益。
-
通过序列级蒸馏改进小型大语言模型在法律摘要中的表现
研究人员开发了一种序列级蒸馏方法，以增强小型大语言模型（LLMs）总结长篇法律意见的能力。这种无需标注的技术使用长上下文教师模型，与在专家撰写的摘要上进行微调相比，显著提高了论点显著性覆盖率。该方法被证明具有高度的数据效率，仅用约10个训练摘要即可获得显著的提升，并表明仅摘要蒸馏就足以实现这些改进。