Tiered Language Models (TLMs)

Google发布差分隐私大语言模型VaultGemma及分层模型框架

Google Research推出了VaultGemma，一个采用差分隐私训练的开源语言模型，旨在增强AI开发的隐私性。该模型拥有10亿参数，并附带一篇研究论文，详细介绍了差分隐私语言模型的规模法则，有助于理解隐私、计算和效用之间的权衡。此外，还提出了一个名为分层语言模型（TLMs）的新框架，允许一组模型权重通过密钥支持多个能力级别，从而在保持公共模型完整性的同时，实现对敏感功能的受控访问。