新的‘复古’LLM 使用 1931 年前的英文文本进行训练

一个名为 talkie-1930-13b-it 的新语言模型已被开发出来，它仅使用 1931 年前的英文文本进行训练。这个拥有 130 亿参数的模型是 talkie-1930-13b-base 的指令微调版本，而 talkie-1930-13b-base 最初是在 2600 亿个 token 上训练的。微调过程利用了源自历史参考作品的指令-响应对的独特数据集，随后进行了强化学习以增强其遵循指令的能力。 AI

影响 该模型提供了一种新颖的历史语言模拟方法，可能为研究过去的沟通风格和知识开辟新的途径。

排序理由 该集群描述了一个具有独特训练数据集和方法论的新语言模型发布，并附有报告和 GitHub 存储库。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• ggml-org/llama.cpp
• Owain Evans
• talkie-1930-13b-base
• talkie-1930-13b-it
• talkie-lm

• 模型发布
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →