实体 SciCodePile

SciCodePile

PulseAugur coverage of SciCodePile — every cluster mentioning SciCodePile across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_156383 · Jul 22 · 04:00

新的128GB语料库和基准突显了LLM在科学代码生成方面的不足

研究人员推出了SciCodePile，一个包含128GB科学代码的庞大语料库，以解决现有数据集在评估大型语言模型（LLM）生成科学代码能力方面的局限性。该语料库来自超过37,000个公共代码库，并附带一个包含200个任务的可执行基准，用于功能验证。对15个LLM的评估显示出显著的挑战，最好的模型在代码补全任务上的CodeBLEU得分仅为38.13%，在可执行代码生成任务上的Pass@1率仅为12.30%，这表明当前LLM与可靠的科学代…