China models

LLM成本节省：按代币用途路由，而非任务难度

一种优化LLM成本的新方法建议根据代币的用途而不是请求的感知难度来路由任务。该方法涉及区分机械任务（如分类和格式化），这些任务可以由更便宜的模型处理，以及真正的推理，这可能需要更高级的模型。通过实施一个根据代币功能进行路由的网关，团队可以显著降低成本，在某些中国模型的情况下，成本可能降低70%以上，甚至高达90%，而不会影响模型在复杂推理上的性能。