Together AI 发布了一系列研究论文，详细介绍了 LLM 推理和训练系统的进展。其中包括通过 Batch-Aware Expert Routing (OEA) 优化专家混合 (MoE) 模型的方法，以及使用 Ulysses 实现内存高效的上下文并行。该公司还展示了 Aurora，一个用于自适应推测训练的统一系统，以及 V1，它统一了并行推理器的生成和自我验证。其他创新包括用于通过演示学习推理的 RARO、用于 AI 驱动的科学发现的 TTT-Discover、用于程序感知代理推理的 ThunderAgent，以及用于评估和训练数据科学代理的 DSGym。 AI
影响 这些进展旨在提高 LLM 的效率、推理能力和代理工作流程，从而可能加速 AI 驱动的发现和复杂任务的执行。
排序理由 Together AI 发布了多篇详细介绍新 LLM 推理和训练技术的论文。
在 X — Together (inference / OSS) 阅读 →
AI 生成摘要 · Google Gemini · 来自 8 个来源。 我们如何撰写摘要 →
8/ Opportunistic Expert Activation: Batch-Aware Expert Routing for Faster Decode Without Retraining (OEA) https://t.co/dw33plIoxW
7/ Untied Ulysses: Memory-Efficient Context Parallelism via Headwise Chunking https://t.co/LgGqu8vl97
6/ When RL Meets Adaptive Speculative Training: A Unified Training-Serving System (Aurora) https://t.co/fvLuHrqDbX
5/ V1: Unifying Generation and Self-Verification for Parallel Reasoners https://t.co/X1zUsS7gY8
4/ Escaping the Verifier: Learning to Reason via Demonstrations (RARO) https://t.co/gQZCEav8Nb
3/ Learning to Discover at Test Time (TTT-Discover) https://t.co/pKeadv4DHl
2/ ThunderAgent: A Simple, Fast and Program-Aware Agentic Inference System https://t.co/7I1Yf5s8B8
1/ DSGym: A Holistic Framework for Evaluating and Training Data Science Agents https://t.co/jV4uMB1g48