SQLFluff

小型 LLM 在 SWE-bench 上进行测试，揭示了多步推理中的容量限制

一位 LLM 可靠性研究员通过在 SWE-bench 基准测试上进行测试，探索了小型语言模型的能力。该实验旨在识别当这些模型面临多阶段任务管道（如推理、批评、修补和比较）时出现的故障模式。虽然管道架构和模型进行任务推理的能力得到了验证，但研究发现小型模型在长上下文、多步推理方面存在困难，并且在压力下无法可靠地生成修补程序或保持稳定的批评。