实体
LLM as a Service
LLM as a Service
PulseAugur coverage of LLM as a Service — every cluster mentioning LLM as a Service across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的DP-MIND框架为百万级token的LLM上下文实现私密推理
研究人员推出DP-MIND，一个新颖的框架，旨在实现处理百万级token上下文的大型语言模型（LLM）的差分隐私推理。现有方法由于容量限制和差分隐私下的效用下降，难以处理如此长的输入。DP-MIND通过分块处理输入并使用保留关键信息的紧凑型内存来解决此问题，该内存经过扰动数据上的强化学习优化。该方法旨在保护敏感用户信息，同时在长上下文任务上保持高准确性。
-
Kubernetes 平台为机密工作负载启用 Pod 级证明
研究人员开发了 dstack-capsule，一个新颖的 Kubernetes 平台，它支持在 Intel TDX 上对机密工作负载进行 Pod 级远程证明。这项创新允许多个 Pod 共享单个机密虚拟机 (Confidential VM)，同时每个 Pod 都能维护独立的、硬件支持的身份证明。该系统采用两层证明架构，包括特权熔断机制和 TDX Quotes 中的动态 Pod 身份嵌入，从而在无需为每个虚拟机进行隔离的资源开销的情况下，…
-
AI模型越来越多地在设备上运行，减少对服务的依赖
将AI模型转向在本地设备上运行是一个积极的发展，摆脱了对“LLM即服务”模式的依赖。虽然所需的硬件（如GPU）仍然昂贵，但预计价格会随着时间的推移而下降。这一趋势预示着AI将迎来一个更加去中心化和易于访问的未来。