实体
inference engine
inference engine
PulseAugur coverage of inference engine — every cluster mentioning inference engine across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
人工智能可以在没有互联网接入的机密网络上运行
已提出一种在没有互联网接入要求的情况下，在机密网络上运行人工智能模型的方法。该方法涉及将人工智能模型、推理引擎和审计账本保留在由操作员控制的硬件上，从而消除任何互联网连接。更新可以通过签名的物理介质或单向数据二极管进行传输，并且所有操作都经过加密密封，以确保离线验证。
-
IntelliBooks AI 剖析 LLM API 基础设施层
IntelliBooks AI 详细介绍了大型语言模型 (LLM) API 调用背后复杂的基础设施，揭示了一个超越简单用户交互的多层流程。提示的旅程包括用于安全和速率限制的 API 网关，然后是负载均衡器，以有效地将流量分配到全球资源。随后，文本被分词为数值表示，模型路由器选择合适的 AI 模型和硬件进行处理。最后，通常由 NVIDIA H100 等 GPU 加速的推理引擎执行生成响应的计算密集型任务。