Model weights
PulseAugur coverage of Model weights — every cluster mentioning Model weights across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
本地 LLM 推理隐私风险超出模型执行范围
在本地运行大型语言模型本身并不能保证隐私，因为模型推理之外的许多进程都可能暴露用户数据。虽然模型权重和计算可能保留在用户的设备上，但关联的应用程序可以记录提示、发送遥测数据或存储聊天记录。此外，操作系统本身可能通过缓存、shell 历史记录或交换文件将数据写入磁盘，而云同步服务可能会无意中暴露本地数据。
-
Anthropic CEO阐述对开放权重AI模型的立场
Anthropic首席执行官Dario Amodei阐述了公司对开放权重模型的立场，表示Anthropic从未主张禁止它们。他强调，不具备危险能力的开放权重模型是公共产品，但对威权政府将强大AI用于军事或监控目的表示担忧。Amodei还支持限制向中国销售芯片以及打击工业规模的蒸馏操作等措施，以减轻这些风险。
-
中国考虑对模型权重和芯片设计实施人工智能出口管制
中国正在考虑对包括模型权重、训练数据和芯片设计在内的关键人工智能组件实施出口管制。此举目前正与国内人工智能和芯片公司协商，可能会显著改变全球对中国人工智能技术的获取，并影响到台积电等国际芯片制造商。这些潜在法规的确切范围和最终细节仍未确定。
-
Transformer研究深入探讨安全漏洞、训练动态和上下文学习的局限性
研究人员发现了用于在推理过程中保护Transformer模型的混洗防御机制中的漏洞，并演示了一种通过对齐置换激活来提取模型权重的攻击。另一项研究深入探讨了Transformer训练的光谱动态，揭示了编码学习过程不同方面的瞬态压缩波和持久光谱梯度。此外，对上下文学习的调查表明，先前的示例会干扰模型适应新任务的能力，训练课程显著影响弹性，并且泛化能力取决于预训练任务是从子空间并集还是单个高斯分布中提取的。