Small model

小型模型与前沿模型结合，可带来成本和延迟的优势

对于分类任务，采用大型前沿模型标记数据，然后将这些标签蒸馏到一个本地托管的小型模型中，可以带来显著的成本和延迟效益。这种方法使得 93% 的分类任务能够由小型模型高置信度地处理，而将更强大、更昂贵的前沿模型留给剩余 7% 的复杂情况。文章还建议，对于风格和策略合规性等任务，通过少样本示例进行提示工程通常比微调更有效和敏捷，因为随着基础模型的改进，微调会很快过时。