Parametric Cross-Entropy

新理论模拟LLM在神经架构搜索中的应用

研究人员开发了一个理论框架，用于理解大型语言模型（LLMs）如何在迭代式神经架构搜索（NAS）中使用。提出的参数化交叉熵方法将LLM-NAS建模为在可执行程序上的优化过程，证明了架构质量单调增加且精英集概率呈几何级数收敛。该研究还引入了一种基于delta的生成技术，以提高有效生成率，并采用MinHash-Jaccard新颖性过滤器来防止模式崩溃。此外，它还建立了代理可靠性的闭式解，确定了基于代理的排名可信度的关键条件。