PACT-Check

新的PACT框架PLatour量化了模型间通信的益处

研究人员推出PLatour，一个旨在促进预填充到自回归跨模型迁移（PACT）研究的开源框架。PACT系统旨在通过结合大型模型的提示表示与小型模型的生成效率来平衡模型能力与推理成本。虽然PLatour在生成和数学/编码基准测试上展示了比现有基线更好的性能，但对照实验表明，一些收益可能并非源于真正的模型间通信。为解决此问题，研究人员开发了PACT-Check来量化PACT系统内的实际通信益处。