实体
AWS EKS
AWS EKS
PulseAugur coverage of AWS EKS — every cluster mentioning AWS EKS across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
llm-d 路由层将 AWS EKS 上 Qwen 7B 的推理速度提升 2.3 倍
一个名为 llm-d 的新路由层在 LLM 推理方面取得了显著的速度提升，特别是在 AWS EKS 上使用 Qwen2.5-7B-Instruct 模型时。通过智能地将请求路由到可能已经缓存了必要前缀数据的 vLLM 副本，llm-d 将基准测试完成时间缩短了一半以上，吞吐量增加了一倍多。这种方法解决了当请求在副本之间随机分布时重复前缀计算的低效率问题，从而大大缩短了首次令牌的平均时间。
-
为 RAG 合规性助手构建精益 MLOps 堆栈
本文详细介绍了为 RAG（检索增强生成）合规性助手构建高效 MLOps 框架的过程。文章概述了一种实用的方法，结合使用了 FastAPI（应用层）、Docker（容器化）以及 AWS 服务（如 ECR 和 EKS 用于部署）。该指南还包含了 MLflow（实验跟踪）、Airflow（工作流编排）以及 Prometheus 和 Grafana（监控）等工具。
-
LI.FI 为 Apache Superset 增强企业级认证和 AI 集成
LI.FI 已成功将企业级认证集成到 Apache Superset 的 MCP 服务器中，支持 Okta SSO 和多用户基于角色的访问控制。此次增强使得能够与部署在 AWS EKS 上的 Claude.ai 等 AI 模型无缝集成。更新重点在于改进 Superset 部署的安全性和用户管理。