sgdE

新的 SGDe 框架为小型语言模型编译工作流

研究人员开发了语义梯度下降（SGDe），一种新颖的师生框架，旨在将复杂代理工作流编译成确定性结构，以用于部署小型语言模型到企业环境中。该方法使用一个前沿 LLM 作为教师来生成批评，这些批评充当梯度，用于优化小型模型的执行计划，包括 DAG 拓扑和系统提示。SGDe 在具有挑战性的数据集上展示了显著的准确性提升，通过利用教师模型作为统计先验并以最少的训练示例实现收敛，从而优于当前的提示优化技术。