PulseAugur
中
实时 23:33:37
English(EN) ORCA: Evaluating LLMs on Data Science Code Translation

新的ORCA基准揭示LLM在数据科学代码翻译方面存在困难

作者 PulseAugur 编辑部 · [1 个来源] ·

引入了一个名为ORCA的新基准，用于评估大型语言模型（LLM）在数据科学库之间代码翻译的能力。该基准包含两种设置：ORCA-MAIN（包含1,600个任务）和ORCA-PROJECT（包含200个涉及完整数据科学项目的任务）。当前的尖端LLM，如Claude Opus-4.6，表现有限，在ORCA-MAIN上的成功率为56.92%，在ORCA-PROJECT上的成功率为33.67%。研究人员还提出了一种意图增强方法，通过推断源代码意图来提高翻译准确性。 AI

影响 凸显了当前LLM在代码翻译方面的局限性，可能推动对更擅长数据科学任务的模型的研发。

排序理由 该集群描述了一篇介绍用于评估LLM在特定任务上表现的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的ORCA基准揭示LLM在数据科学代码翻译方面存在困难

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Xiaolong Li, Jinyang Li, Bowen Qin, Ge Qu, Nan Huo, Xiaohan Xu, Shipei Lin, Reynold Cheng ·

    ORCA：在数据科学代码翻译方面评估LLM

    arXiv:2609.30749v1 Announce Type: new Abstract: Data Science Code Translation (DSCT) is the process of converting code between data science libraries while preserving functional equivalence and enabling interoperability across data science ecosystems. While Large Language Models …

相关实体

相关话题