English(EN) Calibrate Globally, Measure Everywhere: Scaling LLM-Based Prevalence Measurement Across A/B Experiments

Pinterest 开发经济高效的基于 LLM 的 A/B 测试测量系统

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-31 04:00

Pinterest 的研究人员开发了一种新颖的系统，用于测量 A/B 实验中的内容属性流行度。该系统采用基于代理的方法，维护机器学习分数分桶的全局校准，并使用 LLM 标记的数据持续更新。这种方法显著降低了每次实验 LLM 标记的成本，从而能够对更多并发实验进行每日流行度测量。 AI

影响该系统为在线平台的 A/B 测试提供了一种可扩展且经济高效的方法，能够更精确地测量内容属性。

排序理由该集群描述了一家公司为 LLM 的特定应用开发的新颖系统，该系统在一篇学术论文中有详细介绍。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Zehao Xu, Tony Paek, Kevin O'Sullivan, Attila Dobi · 2026-07-31 04:00

全球校准，处处测量：跨 A/B 实验扩展基于 LLM 的流行度测量

arXiv:2602.16111v2 Announce Type: replace-cross Abstract: Online media platforms track the share of impressions associated with content attributes, or prevalence, to evaluate trade-offs and set guardrails in A/B experiments. LLM-based labeling provides a high-fidelity reference m…