Sendbird

AI token 成本飙升，促使公司限制使用并探索本地模型

公司正面临与 AI token 消耗相关的意外高昂成本，导致了“tokenmaxxing”的趋势，即鼓励员工大量使用 AI，从而产生巨额账单。这促使许多组织实施 token 限制并重新评估其 AI 支出策略。高成本是由选择高端模型和低效的架构决策驱动的，尤其是在长上下文工作负载方面。一种反向运动正在兴起，专注于本地 AI 模型以降低成本、增强隐私和提高速度，尽管它仍然阻碍了广泛采用。