Prompt Engineering Pocket Guide
PulseAugur coverage of Prompt Engineering Pocket Guide — every cluster mentioning Prompt Engineering Pocket Guide across labs, papers, and developer communities, ranked by signal.
-
过时的提示建议损害大语言模型准确性；使用更少的示例
关于使用少样本示例的提示工程建议通常已过时，并且会损害大语言模型的性能。虽然对 GPT-3 等旧模型有益，但像 GPT-4o 和 Claude 4.7 这样较新的指令微调模型无需示例即可理解任务。在某些特定场景下，例如高召回率提取、创意生成和严格格式指令遵循，提供示例可能会导致准确性下降、令牌使用量增加以及输出偏差，因为模型可能会过度锚定在示例的结构上，而不是任务本身。
-
提示词测试脚本将 LLM 提示词视为代码迁移
本文介绍了一种测试大型语言模型提示词更改的方法，将其视为代码迁移而非简单编辑。文章提出了一个 50 行的 Python 脚本，该脚本针对两个提示词版本运行评估，计算输出分数的差异，并使用自举法确定统计显著性。这种方法旨在防止细微的提示词更改在未被立即检测到的情况下降低模型性能，确保跨不同用户群体的质量得到维持。
-
提示工程：削减臃肿的少样本示例以节省Token
提示工程指南常常忽略一个关键问题：LLM提示中少样本示例的臃肿。随着时间的推移，这些示例会因为错误修复和边缘情况处理而累积，导致Token成本增加，但准确性并未相应提高。提出的解决方案是使用一种留一法消融测试，类似于机器学习中的特征选择，系统地移除示例并衡量它们对性能的影响。这种严格的测试可以识别并消除非必需的示例，从而优化提示效率并降低运营成本。
-
当提示滞后于工具集更新时，AI代理会遭受“工具定义漂移”
生产环境中AI代理的一个常见问题是“工具定义漂移”，即代理的系统提示不再准确反映其可用工具。当工具集随着时间的推移而扩展，但提示保持静态时，就会发生这种情况，导致代理调用不存在的工具或未能利用新功能。文章概述了工具调用幻觉和孤立工具等症状，并提出了一种通过比较工具注册表和系统提示来检测和衡量这种漂移的方法。