一篇新研究论文探讨了对大型语言模型进行微调以实现 Dart 预编译 (AOT) 二进制文件的神经反编译的有效性。研究发现，微调并未显著提高 pass@k 性能，在某些情况下甚至导致了性能回退。研究人员还观察到指标发散现象，例如 CodeBLEU 和 compile@k 指标有所改善，而 pass@k 指标却下降了，这表明微调可能更侧重于表面相似性而非功能正确性。该论文引入了 HumanEval-Dart 基准测试，并提倡将 pass@k 作为神经反编译任务的主要评估指标。 AI
影响 表明当前的微调方法可能无法提高代码生成任务中的功能正确性，凸显了改进评估指标的必要性。
排序理由 在 arXiv 上发表的研究论文，详细介绍了 LLM 微调和代码生成评估指标的实证研究。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.06125v1 Announce Type: cross Abstract: Neural decompilation is increasingly studied as a code-generation problem, yet its evaluation methodology remains underdeveloped for modern languages. We present a systematic empirical study of fine-tuning effectiveness and metric…
Neural decompilation is increasingly studied as a code-generation problem, yet its evaluation methodology remains underdeveloped for modern languages. We present a systematic empirical study of fine-tuning effectiveness and metric validity for Dart Ahead-of-Time (AOT) neural deco…