Zhaohua Chen

新框架提出 LLM 的基于类型的广告插入

研究人员提出了一个通过广告插入来营利大型语言模型（LLM）的新框架，解决了上下文连贯性、效率和隐私等挑战。该系统将广告插入与响应生成分离，并使用“类型”作为广告商竞价的代理，降低了隐私风险和计算负担。该基于类型的框架应用了 Vickrey–Clarke–Groves (VCG) 拍卖机制，旨在实现激励相容和社会福利，实验表明它可以在消费级硬件上快速运行。还开发了一个“LLM 作为裁判”的指标来估计上下文连贯性，该指标与人类评分显示出很强的相关性。