ProxyLM

新框架在训练前预测LLM微调性能

两篇新的研究论文介绍了一种在大型语言模型（LLM）完全训练过程开始前预测其微调性能的框架。第一篇论文《A Risk Decomposition Framework for Pre-Hoc Fine-Tuning Prediction》从理论上分析了预测风险，并将任务分为不同的模式。第二篇论文《TuneAhead》提出了一个实用的框架，结合了数据集描述符和探针特征来估计性能，在超过1300次微调运行中展示了比现有方法显著的准确性提升。