一项比较标准聊天历史记录方法与AXI架构的测试揭示了显著的性能和状态跟踪问题。在使用Gemini 3.8 Flash时,保留整个聊天历史记录导致调用速度慢了3.5倍,并且从第287轮开始变得不准确。相比之下,AXI架构通过从主机持有的状态重建提示,保持了准确性,并且随着时间的推移,提示大小的增加要小得多。这表明,尽管长上下文窗口很有吸引力,但高效管理聊天历史记录对于保持性能和可靠性至关重要。 AI
影响 突出了朴素的长上下文聊天管理在性能和准确性方面的局限性,表明需要AXI等架构解决方案来实现高效的LLM交互。
排序理由 研究比较了两种管理LLM聊天历史记录的方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →