Sarung Tripathi

Together AI & Yutori cut web agent costs with optimized inference

Together AI 和 Yutori 正在合作，以使 Web agent 任务更具成本效益和速度。他们通过优化推理量、利用诸如前缀缓存和推测解码等技术在小型模型上进行操作，以及微调 Qwen 模型来实现这一目标。他们的方法能够快速对新模型变体进行 A/B 测试，从而显著降低复杂 Web 工作流的成本和时间。