PulseAugur
中
实时 09:56:55
English(EN) Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis

LLMs通过MinHash课程微调用于神经架构合成

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一个新颖的神经架构搜索（NAS）框架，该框架利用基于MinHash的相似性调度方法为大型语言模型（LLM）的微调创建渐进式课程。该方法将神经架构代码划分为相似性带，并以递增的异质性呈现它们来指导LLM。在LEMUR基准的CIFAR-10图像分类任务中，使用OlympicCoder-7B模型进行评估时，该课程在高度相似性水平下达到了60%的峰值成功率，且无需后处理修复。消融研究表明，尽管在某些多样化场景下，未经修复的基础模型表现优于课程模型，但接口修复对于提高这些情况下的性能至关重要，这表明课程调度和修复解决了不同的失败模式。 AI

影响 引入了一种新颖的基于LLM的神经架构搜索课程学习方法，有望提高生成新模型架构的效率和成功率。

排序理由 该集群包含一篇详细介绍使用LLM进行神经架构合成新方法的学术论文。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

LLMs通过MinHash课程微调用于神经架构合成

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Anujaya Vijayakumar, Radu Timofte, Dmitry Ignatov ·

    Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis

    arXiv:2607.11591v1 Announce Type: new Abstract: Introduce a MinHash-based similarity scheduling framework that constructs a progressive curriculum over neural architecture code for LLM-based neural architecture search (NAS). Using 128-permutation MinHash signatures over normalise…

  2. arXiv cs.CV TIER_1 English(EN) · Dmitry Ignatov ·

    面向神经架构合成的LLM的相似性引导课程微调

    Introduce a MinHash-based similarity scheduling framework that constructs a progressive curriculum over neural architecture code for LLM-based neural architecture search (NAS). Using 128-permutation MinHash signatures over normalised 7-gram source code shingles, we partition the …

相关实体

相关话题