PulseAugur
实时 22:14:41
English(EN) Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search

代码嵌入提升神经架构搜索效率

研究人员开发了一种名为代码导向语言模型嵌入(COLE)的新方法来改进神经架构搜索(NAS)。该技术使用现成的语言模型从神经架构的代码表示中生成嵌入,从而绕过了昂贵的微调或复杂的特征工程的需要。在 NAS-Bench-201einspace 上的实验表明,COLE 嵌入的性能优于其他基于文本的编码,并显著降低了找到高性能架构所需的评估预算。 AI

影响 引入了一种更有效的设计神经网络的方法,有可能加速人工智能模型开发。

排序理由 该集群包含一篇详细介绍神经架构搜索新方法的学术论文。

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.NE (Neural & Evolutionary) TIER_1 English(EN) · Jason Zutty ·

    Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search

    Developing effective surrogates (performance predictors) for Neural Architecture Search (NAS) typically requires expensive fine-tuning or the engineering of complex representations. We propose a low-cost embedding strategy that leverages the inductive bias of Language Models (LMs…