PulseAugur
实时 09:25:53
English(EN) From Test-Time Scaling to Reusable Memory: Measuring Crystallization in Text-to-SQL

新的“结晶”方法评估 Text-to-SQL 内存系统

研究人员引入了一个名为“结晶”的新评估框架,以更好地评估 Text-to-SQL 模型中内存系统的有效性。该方法区分了对重复性问题重放答案与将所学知识应用于同一数据库中的新颖查询。通过隔离内存选择的影响,研究发现存储经过验证的已更正查询在 BIRD 基准测试上将首次尝试的准确率提高了 4.34 个百分点,捕获了按需修复的潜在收益的很大一部分。 AI

影响 为 Text-to-SQL 模型引入了新颖的评估框架,能够更精确地衡量内存系统的有效性并指导未来发展。

排序理由 该项目是一篇在 arXiv 上发表的研究论文,详细介绍了一种新的 Text-to-SQL 模型评估方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的“结晶”方法评估 Text-to-SQL 内存系统

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Jiaqian Wang (Xidian University), Yutao Qi (Xidian University), Wenjin Hou (Xidian University), Yuanxi Che (Xidian University), Muning Wen (Shanghai Jiao Tong University) ·

    从测试时扩展到可重用内存:衡量文本到SQL中的结晶

    arXiv:2608.07213v1 Announce Type: new Abstract: Test-time scaling can correct difficult text-to-SQL queries, but the extra computation is normally discarded after each answer. Systems increasingly retain verified repair episodes, yet evaluations still report one end-to-end score.…