Cactus 开发了一个混合 AI 模型 Gemma-4-E2B，它可以确定自身回答的置信度水平。这使得查询能够被高效路由，对高置信度的回答使用设备端模型，而将低置信度的查询升级到更大的云模型。通过仅将 15-35% 的查询分流到 Gemini 3.1 Flash-Lite 等模型，Gemma-4-E2B 实现了可比的基准性能。该系统使用一种新颖的探针层，分析中间模型层以预测错误回答的可能性，其表现优于令牌熵等传统方法。 AI
影响 通过允许设备端模型可靠地发出升级到更强大的云端模型的信号，从而实现更高效的混合 AI 系统。
排序理由 这是第三方（Cactus）对现有模型（Gemma 4）进行的具体技术改进，而不是来自前沿实验室的直接发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
