Cheng, Kasai & Yu

批量提示可节省 LLM 成本，但存在答案归属错误风险

Cheng、Kasai 和 Yu 详细介绍了一种称为批量提示的技术，该技术涉及将多个独立项目分组到单个 LLM 调用中以降低成本。此方法可以实现显著节省，理论上可达 1 − 1/k 的共享开销，但其有效性受到共享指令比例与单个项目成本的限制。一个主要缺点是，如果项目被省略或损坏，可能会导致答案归属错误，这会级联并影响批次中的后续项目。研究人员开发了诸如行计数或位置解析之类的方法来缓解这些问题，尽管这些方法也带来了自身的复杂性和成本。