研究人员引入了“神经交互”的概念，以分析大型语言模型在固定预算下如何有效地利用资源。他们提出，通过调整模型深度宽度比（$R_{D/W}$）实现的有效神经交互对于良好的泛化至关重要。研究表明，即使计算预算增加，这种有效交互区间也保持稳定，并且在此范围内运行的模型在 MMLU-Pro 等基准测试中表现更好。这些发现为模型初始化和泛化机制提供了见解。 AI
影响 通过关注内部交互效率，为理解和优化 LLM 泛化提供了一个新的理论框架。
排序理由 这是一篇详细介绍理解 LLM 泛化新理论概念的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
