Eugene Yan 推出了 AlignEval，这是一款旨在简化和自动化大型语言模型 (LLM) 评估过程的新应用程序。该工具引导用户上传数据、将样本标记为通过或失败、定义评估标准以及优化基于 LLM 的评估器。AlignEval 强调数据优先的方法，鼓励用户从实际模型输出来推导评估标准，而不是预定义的指标，旨在减少 AI 产品开发中的瓶颈。 AI
排序理由 推出了一款简化 AI 开发中常见任务的新应用程序。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Look at and label your data, build and evaluate your LLM-evaluator, and optimize it against your labels.
**Scale AI** highlighted issues with data contamination in benchmarks like **MMLU** and **GSM8K**, proposing a new benchmark where **Mistral** overfits and **Phi-3** performs well. **Reka** released the **VibeEval** benchmark for multimodal models addressing multiple choice bench…