PulseAugur
中
实时 03:38:53
实体 schemagate

schemagate

PulseAugur coverage of schemagate — every cluster mentioning schemagate across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
10
90 天内 10
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
时间线
  1. 2026-10-26 research_milestone Schemagate achieved the #1 ranking on the BIRD Mini-Dev leaderboard when paired with Claude Opus 5.5. 来源
情绪 · 30 天

5 天有情绪数据

最近 · 第 1/1 页 · 共 10 条
  1. TOOL · CL_363871 ·

    Schemagate 文本到 SQL 系统在 Oracle 数据库上实现 63.7% 的成功率

    Schemagate 文本到 SQL 系统在 Oracle 数据库上实现了 63.7% 的首次尝试成功率,显著优于之前的基准。这一改进归因于特定的提示工程技术,包括处理 Oracle 的别名和保留字约定,以及正确格式化表名。该系统在 UniQL 数据集上进行了评估,结果显示其在 Claude-4.5-Sonnet 等模型上具有显著优势,后者此前在 Oracle 上的最佳发布分数是 49.61%。

  2. TOOL · CL_328342 ·

    开发者的 schemagate 库在 text-to-SQL 表选择方面优于其他方法

    一位开发者比较了四种为 text-to-SQL 提示选择相关数据库表的方法,发现他们开源的 schemagate 库在其他方法中表现显著优异。在使用相同的 MiniLM 模型时,schemagate 在 Spider 2.0 和 BIRD 数据集的测试中成功识别了所有必需的表,而基于嵌入的方法则多次遗漏了表。这种改进的选择是以 8-11% 的 token 数量适度增加为代价的,这主要是由于包含了连接(joins)所需的表。

  3. TOOL · CL_321474 ·

    Schemagate AI 凭借 Claude Opus 5.5 荣登 BIRD Mini-Dev 排行榜榜首

    Schemagate 是一种用于在生成 SQL 查询之前预过滤数据库表和列的 AI 系统,现已在官方 BIRD Mini-Dev 排行榜上名列第一。当与 Claude Opus 5.5 配对使用时,Schemagate 在所有三个测试的 SQL 方言中均获得第一名。在另一项配置中,Schemagate 与 Gemini 2.5-Flash 结合,在排行榜上名列第二,展示了强大的执行准确性。

  4. TOOL · CL_316269 ·

    Claude Opus 5.5 在 BIRD 文本到 SQL 基准测试中以单次查询达到 77.1%

    一位开发者使用 Claude Opus 5.5,通过每次调用模型回答一个问题的方式,在 BIRD 文本到 SQL 基准测试中实现了 77.1% 的执行准确率。该方法通过 schemagate 系统实现,涉及模型选择相关表并生成单个查询,并包含一个机制来修复 SQLite 遇到的错误。开发者正在将这些结果提交到隐藏测试集,以确定该系统与其他通常每次问题使用多次调用的领先方法相比的性能。该系统在访问控制基准测试中也表现强劲,实现了零未授权读取。

  5. TOOL · CL_309896 ·

    Gemini 2.5 Flash 在 Oracle Text-to-SQL 基准测试中击败 Claude Sonnet 4.5

    一个名为 UniQL 的新基准测试旨在将自然语言问题转换为各种方言的 SQL 查询,突显了大型语言模型的性能差异。在 UniQL 的 Oracle 方言上,Claude Sonnet 4.5 的准确率为 49.61%,而 Gemini 2.5 Pro 的准确率为 26.14%。通过实施针对 Oracle 语法和保留字量身定制的特定提示规则,Gemini 2.5 Flash 模型能够将其单次尝试的准确率从 35% 提高到 64.5%,超…

  6. TOOL · CL_305814 ·

    开发人员在基准测试揭示问题后修复了 LLM 访问控制错误

    一名开发人员在其 LLM 访问控制系统 schemagate 中修复了一个错误,此前一个名为 Spider-ACL 的基准数据集揭示了问题。最初的试点运行 F1 得分为 0.83,由于区分大小写的正则表达式而错误地拒绝了有效查询。修复错误后,该系统在整个数据集上的得分达到 0.984,进一步的分析证实没有未经授权的数据访问。

  7. TOOL · CL_305136 ·

    Schemagate 在新的文本到SQL访问控制基准上表现优异

    SIGMOD'27 的一篇论文发布了一个新的文本到SQL系统基准,该基准显示,仅仅隐藏受限列仍然允许模型回答它们本应拒绝的问题。名为 BIRD 的基准显示,即使隐藏了列,模型仍然可以回答 27% 的受限问题。Schemagate 的作者(一个文本到SQL访问控制工具)在该基准上运行了他们的系统,发现 Schemagate 的效果优于该论文的最佳配置,并且没有查询访问未经授权的数据。

  8. TOOL · CL_304958 ·

    LLM 重排器 bug 已修复,text-to-SQL 准确率提升

    一位开发者在其 schemagate text-to-SQL 工具的 LLM 重排器中发现了一个 bug,该 bug 导致模型被调用但由于 token 限制未能提供答案,从而导致系统默默地回退到效果较差的数学排序。通过增加 `max_tokens` 参数并添加更强大的测试以确保模型实际响应,该问题得到了修复。当重排器正常工作时,它显著提高了 Spider 和 BIRD 等基准测试中 SQL 生成的表选择准确性。

  9. TOOL · CL_279726 ·

    业务术语表提高了文本到 SQL 代理的准确性,学习到的术语无效

    当为文本到 SQL 代理提供全面的业务术语表时,其性能得到了显著提升,与不使用术语表相比,准确率提高了 28 个问题。然而,从过去用户问题中自动学习到的术语表并未显示出任何改进,这表明手动整理的术语对于增强代理对特定业务语言的理解以及其正确映射术语到数据库模式的能力至关重要。该工具 schemagate 1.2.0 还包含访问控制,以防止术语表术语向未经授权的用户泄露敏感的表或列信息。

  10. TOOL · CL_278219 ·

    SchemaGate 1.1.0 为LLM增加了列级访问控制

    SchemaGate 1.1.0 引入了针对LLM的列级访问控制,解决了模型即使在表格受限的情况下也能从列名推断敏感数据的漏洞。新功能允许用户在JSON文件中定义规则,根据用户角色隐藏特定列不被LLM提示访问。这可以防止模型生成访问薪资或身份证号等敏感信息的查询,从而提高文本到SQL应用的 डेटा सुरक्षा。SchemaGate 支持各种数据库,并可作为Python库、CLI或MCP服务器集成。