OROO Mint

开发者工具简化了 GPT、Gemini 和 Claude 之间的 LLM 选择

一位开发者创建了一个小巧的评估工具，以帮助开发者选择最适合其特定应用需求的 LLM。该工具名为 OROO Blue，允许用户根据自定义标准和真实输入的自定义数据集来测试 GPT、Gemini 和 Claude 等模型。它测量质量、延迟和 token 使用量，使开发者能够根据其功能的性能要求和成本限制做出明智的决定。该系统强调盲评，并为安全实验提供保障措施，包括专用的评估密钥和 IP 允许列表。