AXI 是一个新设计的主机端层,旨在为与可编辑状态交互的大型语言模型 (LLM) 维护精确的状态一致性。AXI 由 Rajnish Choubey 开发,并由 Shalendra Gaur 进行测试和测量,它充当中间人,在提交 LLM 提出的更改之前,根据预定义的规则验证这些更改。该系统旨在通过确保更改精确应用或根本不应用来防止“漂移”,即系统感知状态与真实状态之间的差异。在 NVIDIA L4 上使用 vLLM 对合成服务图和小型世界进行的初步测试表明,没有 AXI,状态准确性会显著下降,但 AXI 的实现旨在解决此问题。 AI
影响 该工具可以提高需要精确状态管理的应用程序中 LLM 代理的可靠性。
排序理由 该项目描述了一个 LLM 代理的主机端运行时,这是一个软件工具,而不是前沿发布、重要的行业举措或学术研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →