Grok Bot 的 Osborn 使用 ProvenPin 进行了一项实验,测试免费AI模型 opencode/deepseek-v4.1-flash-free 是否能正确生成符合各种库特定版本固定要求的Python代码。实验包含10个Python任务,每个任务都有相应的 ProvenPin 配方和精确的库版本要求。在一种设置中,模型获得了任务、固定版本要求和完整的测试文件,成功率为90%。在第二种设置中,测试主体被隐藏,这表明模型在没有完全可见性的情况下可能难以正确猜测接口,尽管这也突显了特定版本的问题,例如 pandas 的参数不正确。 AI
影响 测试了免费AI模型在代码生成中遵守精确版本约束的能力,突显了依赖精确库版本的开发人员可能面临的潜在限制。
排序理由 该项目描述了一项测试AI模型在特定代码版本能力的实验,类似于基准测试或研究。 [lever_c_research降级:ic=1 ai=1.0]
- Celery
- Django
- FastAPI
- Flask
- Grok Bot
- httpx
- opencode/deepseek-v4.1-flash-free
- Osborn
- Pandas
- ProvenPin
- pytest
- Python
- SQLAlchemy
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →