AMSBench-TQA

新数据集和训练技术增强了大型语言模型在模拟电路方面的知识

研究人员构建了一个新的文本数据集，旨在训练大型语言模型（LLMs）掌握模拟电路知识。该数据集包含用于持续预训练的无标签数据和用于监督微调的有标签数据，并整合了结构化的“问题-思考-解决方案-答案”四元组。研究还定制了大型语言模型的训练技术，发现采用KL散度正则化的监督微调可带来显著改进。经过训练的32B指令模型在AMSBench-TQA基准测试中取得了84.59%的准确率，远高于初始模型。