PulseAugur
中
实时 12:50:16
English(EN) Learning What Matters: Probabilistic Task Selection via Mutual Information for Model Finetuning

新框架通过建模任务关系优化大型语言模型微调

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个名为TaskPGM的新框架，用于优化大型语言模型的微调过程。该方法使用基于能量的任务模型，将任务表示为马尔可夫随机场，以捕捉任务间的关系和效用。通过平衡覆盖率与冗余度，TaskPGM改进了标准的混合策略，并提供了对任务交互的可解释见解，在LLaMA-7B和Qwen2-7B等模型上展示了增强的性能。 AI

影响 通过智能选择任务来优化大型语言模型的微调，有望提高效率和性能。

排序理由 该集群包含一篇关于模型微调新框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Prateek Chanda, Saral Sureka, Parth Pratim Chatterjee, Krishnateja Killamsetty, Nikhil Shivakumar Nayak, Ganesh Ramakrishnan ·

    学习重要内容：通过互信息进行概率性任务选择以进行模型微调

    arXiv:2507.12612v3 Announce Type: replace Abstract: Supervised fine-tuning performance for large language models depends strongly on how training budget is distributed across a heterogeneous set of tasks. In practice, mixtures are often fixed using simple heuristics (e.g., unifor…

相关实体

相关话题