Zhengkang Guo

新的RECAST数据集推动LLM遵循超过19个约束的复杂指令

研究人员开发了RECAST，一个新颖的框架，旨在生成数据集，以比当前基准高得多的复杂指令挑战大型语言模型（LLM）。这个新的数据集RECAST-30K包含30,000个实例，具有多达19种约束类型，这些实例是从真实世界的提示-响应对中提取的。实验表明，在RECAST-30K上进行微调的模型在遵循复杂指令方面表现出更好的性能，而不会损害通用能力。该框架还包括用于定量和定性约束的自动化验证方法，从而能够为强化学习设计奖励函数以进一步提高模型性能。