一名大学二年级学生用 PyTorch 从零开始构建了一个小型、字符级别的 Transformer 模型,包含约 90 万个参数。该模型最初在日本文学节选中进行了预训练,然后微调以充当聊天机器人。该学生还实现了一个递归自我改进(RSI)循环,模型在此循环中生成答案、自我评分,并根据最佳响应进行再训练以提高其性能。 AI
影响 为教育目的展示了大型语言模型开发和自我改进循环的基础原理。
排序理由 该条目描述了从零开始创建一个小型教育语言模型,包括其架构和训练过程,这属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
- chat_gpt.py
- mini_gpt.py
- PyTorch
- Representational State Transfer
- rsi_gpt.py
- Transformer
- web_ui.py
- ZEN University
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →