EdgeWise SDK v0.3.1

EdgeWise 通过选择性 LLM 委托将 AI 云成本削减 87%

EdgeWise 开发了一种新颖的方法，通过选择性地委托任务来降低 AI 代理的云成本和延迟。他们的系统在 arXiv 论文中有详细介绍，使用在边缘设备上运行的小型“步进选择器”模型来确定哪些推理需要像 GPT-4 Turbo 这样的强大云端 LLM。这种选择性委托可以将推理成本降低高达 87%，并显著降低延迟，使复杂的 AI 应用在现实世界中更具可行性。