研究人员开发了DistilledGemma，一个从多语言历史文章中抽取人物地名关系的高效系统，在HIPE-2026共享任务中取得了0.688的平均分。该系统采用三阶段知识蒸馏流程，首先在大型语言模型上进行提示工程，然后使用QLoRA对Gemma 4 26B模型进行监督微调，最后将响应级蒸馏到一个更小的Gemma 4 E2B学生模型中。这种方法成功地减小了模型尺寸，同时保持了强大的推理能力，在标准和二元测试集的效率-准确性方面均排名第二。 AI
影响 展示了有效的知识蒸馏技术，可用于高效处理历史文档，可能降低类似NLP任务的计算成本。
排序理由 该集群描述了一篇研究论文，详细介绍了一种新的关系抽取模型和方法，包括性能指标。
在 Hugging Face Daily Papers 阅读 →
- English
- French
- German
- HIPE-2020
- HIPE-2022
- HIPE-2026
- large-language models
- Multilingual Historical Texts
- Person-Place Relation Extraction
- DistilledGemma
- Gemma 4 26B-A4B
- Gemma 4 E2B
- QLoRA
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
