Dmytro Dzhulgakov

Cursor 的 Composer 2：基于 Fireworks 基础设施构建的专业化 AI 编码模型

Cursor 的研究主管 Federico Cassano 和 Fireworks 的 Dmytro Dzhulgakov 讨论了 Composer 2 的开发，这是一个专业的编码模型。他们解释了 Cursor 在自有基础设施上训练高度专注的模型、利用强大的开源基础模型和广泛的强化学习的策略。讨论强调了分布式训练、异步管道和高效权重同步方面的重大工程创新，以及处理稀疏模型中的数值不一致和通过自我总结实现长上下文窗口的技术。