研究人员构建了一个新的文本数据集,旨在训练大型语言模型(LLMs)掌握模拟电路知识。该数据集包含用于持续预训练的无标签数据和用于监督微调的有标签数据,并整合了结构化的“问题-思考-解决方案-答案”四元组。研究还定制了大型语言模型的训练技术,发现采用KL散度正则化的监督微调可带来显著改进。经过训练的32B指令模型在AMSBench-TQA基准测试中取得了84.59%的准确率,远高于初始模型。 AI
影响 这项研究可能促使大型语言模型在模拟电路设计等专业工程领域发挥更强大的作用。
排序理由 这是一篇研究论文,详细介绍了用于大型语言模型的新数据集和训练技术。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →