跳到正文
arXiv cs.AI· Saurabh Sakalkar, Abhishek Singh, Ramesh Raskar·· 13 小时前AI 评分31

KumbhDoot:面向大型集会公共服务的可扩展、LLM 受限架构

KumbhDoot: A Scale-Ready, LLM-Bounded Architecture for Mass-Gathering Public-Service Assistants

AI 导读

KumbhDoot 是面向 Nashik Simhastha Kumbh Mela 的智能体朝圣助手,采用“语义优先、LLM 受限”设计:以嵌入向量索引的语义缓存作为唯一检索原语,仅在相似度检索不足时才调用生成模型。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大壶节(Kumbh Mela)等大型宗教集会会在数周内将数千万人聚集到同一地区,从而产生密集、重复、多语言且关乎安全的信息需求。默认的应对方式——一个将每条查询都路由到大型语言模型(LLM)的对话式助手——与这一场景并不匹配:它在规模化时成本高昂,在紧急路径上响应缓慢,容易在可能造成人身伤害的事实上产生幻觉,并且在连接中断时无法使用。我们介绍 KumbhDoot,这是一个为纳西克辛哈斯塔大壶节(Nashik Simhastha Kumbh Mela)构建的智能体朝圣者助手,它基于不同的原则。它遵循一项基础设计原则,即优先考虑语义相似度,而非从 LLM 开始。只有在基于相似度的检索不足以给出正确答案时,才会调用生成式模型。该系统采用“语义缓存”:一个以嵌入索引的存储作为单一检索原语,负责意图路由、答案缓存、离线查询和多智能体检索。一个定制的三层智能体架构直接在该存储上运行,确保决策路径保持可检查,并避免使用会触发隐式逐步 LLM 调用的通用多智能体框架。我们介绍了该架构、其单次查询经济性的分析成本模型,并如实说明相似度在何处足够、在何处仍需要生成式推理。我们认为,对于边界明确、高风险、低连接的公共服务领域,相似度优先且受 LLM 约束的设计不仅更便宜,而且在架构上比默认使用 LLM 的设计更合适。
主题: 计算机与社会(cs.CY);人工智能(cs.AI)
引用为: arXiv:2608.07520 [cs.CY]
  (或此版本的 arXiv:2608.07520v2 [cs.CY])
  https://doi.org/10.48550/arXiv.2608.07520

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Abhishek Singh [查看电子邮件]
[v1] 2026年7月6日星期一 20:38:41 UTC(1,772 KB)
[v2] 2026年10月29日星期四 01:04:25 UTC(22 KB)

来源:arXiv cs.AI · arxiv.org