Paul Janson

新研究解决 LLM 的多样性、效率和训练稳定性问题

新研究探索了增强大型语言模型 (LLM) 功能和效率的方法。一篇论文介绍了“口头化采样” (Verbalized Sampling)，通过提示模型口头化概率分布来减轻模式崩溃并增加 LLM 输出的多样性。另一项研究提出了“原地分词器扩展” (In-Place Tokenizer Expansion)，以提高训练数据中代表性较低的语言的效率，可能加快解码速度。此外，关于“稳定原生低秩 LLM 预训练” (Stabilizing Nati…