PulseAugur
中
实时 04:51:31
English(EN) Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability

新理论模拟LLM在神经架构搜索中的应用

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一个理论框架，用于理解大型语言模型（LLMs）如何在迭代式神经架构搜索（NAS）中使用。提出的参数化交叉熵方法将LLM-NAS建模为在可执行程序上的优化过程，证明了架构质量单调增加且精英集概率呈几何级数收敛。该研究还引入了一种基于delta的生成技术，以提高有效生成率，并采用MinHash-Jaccard新颖性过滤器来防止模式崩溃。此外，它还建立了代理可靠性的闭式解，确定了基于代理的排名可信度的关键条件。 AI

影响 为在自动化架构设计中使用LLMs提供了理论基础，可能加速AI模型开发。

排序理由 该集群包含一篇学术论文，详细介绍了LLM驱动的神经架构搜索的新理论框架。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新理论模拟LLM在神经架构搜索中的应用

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov ·

    迭代式LLM驱动的神经架构搜索的收敛理论：具有闭式解代理可靠性的参数化交叉熵框架

    arXiv:2605.30103v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly used as generators in iterative neural architecture search (NAS), yet no formal convergence theory exists for this class of algorithms. We model iterative LLM-NAS as a parametric Cross-E…

  2. arXiv cs.LG TIER_1 English(EN) · Dmitry Ignatov ·

    迭代式LLM驱动的神经架构搜索收敛理论：具有闭式解代理可靠性的参数化交叉熵框架

    Large language models (LLMs) are increasingly used as generators in iterative neural architecture search (NAS), yet no formal convergence theory exists for this class of algorithms. We model iterative LLM-NAS as a parametric Cross-Entropy (CE) method over executable programs and …

相关实体

相关话题