一篇新研究论文介绍了一种改进 Transformer 模型推理能力的方法，解决了它们过早停止处理信息的问题。研究人员开发了一种微小的、经过任务训练的 LoRA（低秩适配），将其应用于冻结的 Transformer 模型的一个早期层，可以显著延长其遵循长链引用的能力。该技术极大地提高了需要多行推理的任务的准确性，一些模型在 24 行或更多行的推理链上的准确性从低百分比提高到接近完美。研究还发现，LoRA 的放置至关重要，如果将其应用于模型层太晚，性能会急剧下降。 AI
影响 这项研究可以通过最小的计算开销显著增强现有 Transformer 模型的推理能力。
排序理由 研究论文详细介绍了一种改进 LLM 推理的新颖方法。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2609.36585v1 Announce Type: new Abstract: Pretrained transformers use little of their depth to follow references in context. Thirteen base models reliably follow only 1.4-3.6 lines, and extra pretrained loops add little. A task-trained rank-8 LoRA at one early layer extends…
Pretrained transformers use little of their depth to follow references in context. Thirteen base models reliably follow only 1.4-3.6 lines, and extra pretrained loops add little. A task-trained rank-8 LoRA at one early layer extends this computation with all model weights frozen.…