talkie-lm

新的‘复古’LLM 使用 1931 年前的英文文本进行训练

一个名为 talkie-1930-13b-it 的新语言模型已被开发出来，它仅使用 1931 年前的英文文本进行训练。这个拥有 130 亿参数的模型是 talkie-1930-13b-base 的指令微调版本，而 talkie-1930-13b-base 最初是在 2600 亿个 token 上训练的。微调过程利用了源自历史参考作品的指令-响应对的独特数据集，随后进行了强化学习以增强其遵循指令的能力。