OreoLook

OreoLook 推出三层缓存以实现高效 LLM 网络搜索

研究人员开发了 OreoLook，一个开源的答案引擎，它采用了一种新颖的三层缓存架构，以提高在商用硬件上进行 LLM 驱动的网络搜索的效率和可负担性。该系统旨在减少冗余的 LLM 调用并保持对话上下文，利用会话窗口、语义相似度匹配和去重嵌入。OreoLook 部署在单台服务器上，实现了 89.3% 的缓存命中率和极低的延迟，使得对话式 AI 搜索在无需昂贵加速器的情况下更加实用。