PulseAugur
中
实时 17:58:58
English(EN) I trained a 350M Python model from scratch on free compute

开发者从头开始用免费算力训练了一个3.5亿参数的Python代码模型

一位开发者创建了Ophyx,一个拥有3.5亿参数的Python代码模型,该模型使用Kaggle上的免费计算资源从头开始训练。该模型在其v3版本中,在HumanEval+上得分44.5,并在同等大小的开源指令模型中在BigCodeBench上领先。Ophyx采用自定义分词器和训练管道构建,具有受Qwen3启发的decoder-only transformer架构。训练过程包括四个阶段,包括在多样化的Python数据集上进行预训练,以及后续的微调以提高其在编码任务上的性能。 AI

影响 展示了用有限资源训练出有能力的代码模型的可能性,可能降低了个人开发者的门槛。

排序理由 该条目描述了由个人开发者训练和发布的一个新的、尽管规模较小的语言模型,详细介绍了其架构和在基准测试上的性能。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

开发者从头开始用免费算力训练了一个3.5亿参数的Python代码模型

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目描述了由个人开发者训练和发布的一个新的、尽管规模较小的语言模型,详细介绍了其架构和在基准测试上的性能。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
2 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Abhash Chakraborty ·

    我从零开始用免费算力训练了一个3.5亿参数的Python模型

    <p>Ophyx is a 350M-parameter Python code model that I trained from scratch, and every step ran on Kaggle's free TPU, GPU and CPU quota. The finished model scores 43.9 on HumanEval+. Among the open instruct models under 1B that I tested, it leads on BigCodeBench and on my own 42 h…