diving weighting system
PulseAugur coverage of diving weighting system — every cluster mentioning diving weighting system across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新研究识别出人工智能训练中的“灾难性过拟合”并提出解决方案
研究人员在神经网络的快速对抗训练(FAT)中识别出一种称为灾难性过拟合(CO)的现象。当模型在训练中使用的单步攻击表现良好时,对多步攻击的鲁棒性会迅速下降,这就是CO的发生。研究表明,这是由于一种标准的训练损失无法察觉的微妙“权重漂移”。然而,权重的指数移动平均(EMA)保持了鲁棒性。该论文提出了一种简单的修复方法:当验证鲁棒性下降时,将权重重置为其EMA,这可以有效消除CO,并在CIFAR-100等基准测试中以降低的训练成本实现最先进的准确性。
-
NVIDIA工程师倡导开放式AI;权重空间编程成为新范式
NVIDIA高级产品研究工程师Chris Alexiuk倡导开源AI,强调权重和训练数据的可访问性对于普及智能的重要性。他强调NVIDIA的Nemotron系列开源多模态模型对于开发专用AI代理至关重要。与此同时,“权重空间编程”的概念被探索为AI研究中一种潜在的新范式,表明机器可以直接操纵神经网络权重,而不是依赖传统编码。这与“苦涩的教训”原则相符,即可扩展的方法(如由大规模计算和数据驱动的方法)最终在AI开发中优于手工方法。
-
AI LLM 入门:理解权重、量化和推理
本文解释了人工智能大型语言模型 (LLM) 的基本概念,包括权重、量化和推理。权重对于确定 token 之间的关系至关重要,不同模型类型的权重数量通常以数十亿或数万亿计。量化是指使用的数据类型和精度,它会影响内存使用量,尤其是在 GPU 上。本入门指南旨在为读者揭开 AI 术语的神秘面纱。
-
AI模型质量从规模转向嵌入式推理
AI模型质量完全依赖于规模的时代正在结束。未来的进步将侧重于将推理直接嵌入模型权重,而不是依赖草稿本或复杂提示等外部工具。这种方法有望提高复杂任务的效率和一致性。
-
大型语言模型用户就内存有限情况下KV缓存精度与权重量化展开辩论
r/LocalLLaMA 子版块的用户正在讨论大型语言模型的优化问题,特别是关于在内存有限的情况下,为什么KV缓存精度有时会在权重精度之前增加。这种将KV缓存设置为8位而权重降低到4位的方法被观察到,但在社区中缺乏明确的解释。