PulseAugur
中
实时 11:46:41
English(EN) Counting the Lines and Tagging the Answers Both Score 74.0% at k=16, at 92.2 Against 55.4 Tokens per Item

批量提示可节省 LLM 成本，但存在答案归属错误风险

作者 PulseAugur 编辑部 · [1 个来源] ·

Cheng、Kasai 和 Yu 详细介绍了一种称为批量提示的技术，该技术涉及将多个独立项目分组到单个 LLM 调用中以降低成本。此方法可以实现显著节省，理论上可达 1 − 1/k 的共享开销，但其有效性受到共享指令比例与单个项目成本的限制。一个主要缺点是，如果项目被省略或损坏，可能会导致答案归属错误，这会级联并影响批次中的后续项目。研究人员开发了诸如行计数或位置解析之类的方法来缓解这些问题，尽管这些方法也带来了自身的复杂性和成本。 AI

影响 批量提示可以显著降低 LLM 的推理成本，但需要仔细实施以避免答案归属错误。

排序理由 该项目详细介绍了一种用于优化 LLM 使用的特定技术方法，包括实验结果和分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

批量提示可节省 LLM 成本，但存在答案归属错误风险

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Devanshu Biswas ·

    计数行和标记答案在 k=16 时均为 74.0%，在每项 55.4 个 token 时为 92.2%

    <p>Batch prompting (Cheng, Kasai &amp; Yu, 2023) is one observation: put k independent items in a single call and the shared instruction and exemplars are paid once instead of k times. Per-item input cost goes from P + q to P/k + q. That is the whole technique.</p> <p>Every numbe…

相关话题