PulseAugur
实时 20:11:47
English(EN) Training an LLM from scratch on 1800's texts (160GB dataset)

在1800年代文本上训练的LLM展现出有前景的历史问答能力

一位用户编译了一个包含160GB的庞大数据集,由1800年代(具体为1800-1875年)来自英格兰和美国的400亿个token的英文文本组成。该数据集的50亿token样本上已训练了一个拥有5亿参数的初步评估模型。该模型还在从数据集中提取的问答对上进行了微调,使其能够回答关于历史人物、地点和事件的查询,尽管其准确性目前有限,因为它是一个评估模型。 AI

影响 展示了使用历史数据训练的专业LLM在回答特定领域问题方面的潜力。

排序理由 用户生成的项目,发布了一个在特定历史数据集上训练的模型。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

在1800年代文本上训练的LLM展现出有前景的历史问答能力

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Remarkable-Trick-177 ·

    Training an LLM from scratch on 1800's texts (160GB dataset)

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1uswlq8/training_an_llm_from_scratch_on_1800s_texts_160gb/"> <img alt="Training an LLM from scratch on 1800's texts (160GB dataset)" src="https://preview.redd.it/ncw7d62g6gch1.png?width=140&amp;height=111&amp;…