研究发现：LLM 生成的技能未能提升 AI 数据科学家表现

一项发表在 arXiv 上的新研究调查了大型语言模型（LLM）生成的技能是否能提高 AI 数据科学家的表现。该研究在数据科学工作流的四个阶段测试了 LLM 生成的技能：数据准备、数据提取、统计分析和报告。在 7,560 次运行和九种模型配置中，研究发现与仅使用任务提示相比，使用完整的生成技能或任何消融的技能变体均未显著提高性能。即使与不相关的技能格式化内容相比，生成的技能表现也相似，这表明在数据科学工作流中不应将 LLM 生成的技能作为默认的单次提示策略。 AI

影响 LLM 生成的技能可能不是提高数据科学任务表现的可靠捷径。

排序理由 发表在 arXiv 上的学术论文，详细介绍了实验结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Data Scientists
• Hugging Face
• LLM
• SQL

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →