一篇开发帖详细介绍了一种名为Tirtha的新型架构，旨在以显著降低的成本实现前沿质量的编码性能。该系统采用双通道方法：一个本地、更便宜的模型处理大多数请求，而一个带有验证门和守卫的“结构通道”将复杂问题升级到更强大、更昂贵的模型。这种结构被认为在正确性方面取得了显著提升，在HumanEval+基准测试中将基线模型的得分提高了约十分。该系统还包含一个用于重复查询的缓存和一个用于令牌效率的压缩层，从而使每次请求的混合成本比典型的前沿模型定价低约八倍。 AI
影响 展示了一种在保持高性能的同时降低LLM推理成本的可行策略，可能加速高级编码助手的采用。
排序理由 该条目描述了一种新颖的架构及其性能指标，但它是一篇开发帖，而不是来自前沿实验室的官方发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
