Tirtha

Tirtha架构以8倍的低成本实现了前沿编码分数

一篇开发帖详细介绍了一种名为Tirtha的新型架构，旨在以显著降低的成本实现前沿质量的编码性能。该系统采用双通道方法：一个本地、更便宜的模型处理大多数请求，而一个带有验证门和守卫的“结构通道”将复杂问题升级到更强大、更昂贵的模型。这种结构被认为在正确性方面取得了显著提升，在HumanEval+基准测试中将基线模型的得分提高了约十分。该系统还包含一个用于重复查询的缓存和一个用于令牌效率的压缩层，从而使每次请求的混合成本比典型的前沿模型定价低约八倍。