InvalidParameter

小众 LLM 基准测试揭示昂贵的旗舰模型表现不如更便宜的替代品

一位开发者针对一款专注于八字（中国出生图）的小众生产应用，对八款大型语言模型进行了基准测试，发现成本最高昂的旗舰模型不仅成本高出 5.8 倍，而且表现不如中等价位的模型。旗舰模型无法禁用其推理过程，导致显著的延迟和额外的成本，而其他模型则因领域特定不准确或虚构的术语而失败。评估优先考虑领域准确性和成本效益，从而制定了一种路由策略，在生产环境中优先选择更便宜、更准确的模型。