Hugging Face 增强了其 Text Generation Inference (TGI) 工具，引入了对包括 TensorRT-LLM 和 vLLM 在内的多个后端支持。此次更新旨在提高部署大型语言模型用户的性能和灵活性。此外，Hugging Face 还在探索辅助生成等新技术，以进一步降低文本生成任务的延迟。 AI
排序理由 Hugging Face 发布了其 Text Generation Inference 工具的更新，包括新的后端支持和性能改进。
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →
