一位开发者创建了Ophyx,一个拥有3.5亿参数的Python代码模型,该模型使用Kaggle上的免费计算资源从头开始训练。该模型在其v3版本中,在HumanEval+上得分44.5,并在同等大小的开源指令模型中在BigCodeBench上领先。Ophyx采用自定义分词器和训练管道构建,具有受Qwen3启发的decoder-only transformer架构。训练过程包括四个阶段,包括在多样化的Python数据集上进行预训练,以及后续的微调以提高其在编码任务上的性能。 AI
影响 展示了用有限资源训练出有能力的代码模型的可能性,可能降低了个人开发者的门槛。
排序理由 该条目描述了由个人开发者训练和发布的一个新的、尽管规模较小的语言模型,详细介绍了其架构和在基准测试上的性能。[lever_c_demoted from research: ic=1 ai=1.0]
- Apache Software License 2.0
- BigCodeBench
- generative pre-trained transformer
- Hugging Face
- HumanEval+
- Kaggle
- llama.cpp
- Ophyx
- Python
- Qwen3
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →