English(EN) I Distilled an LLM into two 287M encoders (GLiNER + multiple choice) for document extraction, can't match teacher. did i do something wrong?

用户寻求关于蒸馏LLM用于文档提取的建议

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-04 13:58

一位Reddit用户正在就使用蒸馏LLM方法的文档提取过程寻求建议。他们训练了两个287M编码器模型，一个用于实体识别（GLiNER），另一个用于分类，以处理法院判决。用户详细介绍了他们的两步过程：首先，使用Claude Sonnet等强大LLM来标记一部分文档并提取实体、动作和值，然后，在这些标记数据上微调更小的模型。他们在匹配原始LLM的性能方面遇到了问题，并正在寻求对其方法的反馈。 AI

排序理由用户正在就技术过程寻求建议，而不是宣布新产品或研究。

在 r/LocalLLaMA 阅读 →

产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Commentary; 用户正在就技术过程寻求建议，而不是宣布新产品或研究。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/SignificantZebra5883 · 2026-10-04 13:58

我将一个LLM蒸馏成两个287M编码器（GLiNER + 多项选择）用于文档提取，但无法匹配教师模型。我做错了吗？

<div class="md"><p>A while ago I asked here how to turn ~5 million court decisions into structured graphs without running an expensive LLM on every document <a href="https://www.reddit.com/r/LocalLLaMA/comments/1wn5k3w/how_would_you_extract_entities_and_relations_f…

本文如何被排名

报道来源 [1]

我将一个LLM蒸馏成两个287M编码器（GLiNER + 多项选择）用于文档提取，但无法匹配教师模型。我做错了吗？

相关实体

相关话题