Reddit的r/LocalLLaMA论坛上一位用户提出了一个关于大型语言模型训练的新颖方法，建议创建将整个句子视为单个词元的模型。这种方法受到汉字密集含义的启发，旨在开发擅长深度思考和推理的模型，即使它们的表面输出不太精炼。这个想法是，这样的“思考者”模型可以处理复杂的概念处理，然后由第二个模型将其输出翻译成更自然的语言。 AI
影响 这项概念性提案可能导致专注于更深层推理能力的新型LLM架构。
排序理由 用户生成的关于潜在LLM架构的想法。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>In kanji single letters can carry deep meanings. e.g. 煌 </p> <p>Which makes me think, wouldnt it be possible to train a model with entire sentences as single tokens and make it a "rough talker" but "strong thinker"? </p> <p>e.…