PulseAugur
实时 19:28:34
English(EN) Predicting Performance of Symbolic and Prompt Programs with Examples

新方法预测LLM提示程序性能

研究人员开发了一种名为RAP(Retrieved Approximate Prior)的方法,用于预测符号程序和基于提示的程序的性能。该系统分析少量领域内示例,以估算程序在未见过的任务上的表现。这种方法考虑了符号程序(通常是全有或全无)与提示程序(通常接近正确)不同的先验性能分布。 AI

影响 为在部署前更可靠地评估基于LLM的程序性能提供了一个框架。

排序理由 该集群包含一篇学术论文,详细介绍了一种新的性能预测方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu ·

    使用示例预测符号程序和提示程序的性能

    arXiv:2605.21515v1 Announce Type: new Abstract: LLM prompting is widely used for naturally stated tasks, yet it is unreliable it may succeed on a few test cases but fail at deployment time. We study performance prediction: given a program, either symbolic (e.g. Python) or a promp…