PAW-Bench

新流程将科学论文转化为 LLM 的训练数据

研究人员开发了一种新流程，可将科学论文转化为多轮生成轨迹，用于语言模型的持续预训练。该方法重建了论文的写作过程，包括请求、计划和章节级别的讨论，同时保留原文 verbatim。由此产生的语料库来自 arXiv 论文，其大小约为源文本的两倍。这种方法还可以创建指令数据集和一个名为 PAW-Bench 的新学术写作基准。实验表明，在此语料库上进行持续预训练，然后进行监督微调，可以显著提高写作能力，而不会损害一般推理或长文档理解能力。