KumbhDoot

KumbhDoot架构优先考虑语义相似性而非LLM以提供公共服务

研究人员开发了KumbhDoot，这是一种用于大型集会（如Kumbh Mela）的公共服务助手的创新架构。该系统优先使用语义相似性检索而非直接LLM调用，并使用“语义缓存”来处理查询、降低成本并确保离线功能。该架构采用三层代理系统，直接在语义存储上运行，使得决策路径可检查，并避免了在高风险、低连接性环境中LLM默认设计的昂贵成本和潜在的幻觉问题。