gradient
PulseAugur coverage of gradient — every cluster mentioning gradient across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
Gradient-based learning remains a core focus in AI research.
The recent cluster evidence highlights the continued importance of gradient-based learning, with an article detailing the chain rule in backpropagation for neural networks. This suggests that fundamental concepts in gradient computation and application are still a significant area of research and education within the AI community.
Novel optimization frameworks beyond standard gradient descent will gain traction.
The introduction of the Generalized Quadratic Gradient (GQG) framework, which unifies and extends existing second-order optimization methods, indicates a move towards more sophisticated optimization techniques. This could lead to the development and adoption of new optimizers that offer advantages over traditional methods in complex deep learning scenarios.
AI-driven personalization in e-commerce and dating will increasingly leverage intent-aware models.
Startups like Malachyte and Ditto are focusing on AI that understands real-time user intent and deeper personality traits, rather than just historical data. This suggests a trend towards more dynamic and context-aware AI applications in consumer-facing platforms, aiming for higher engagement and conversion rates.
-
理解反向传播：神经网络中的链式法则
本文解释了链式法则的数学概念及其在反向传播中的关键作用，反向传播是用于训练人工智能神经网络的算法。文章演示了如何手动计算导数并通过微小的数值扰动进行验证，这是一种对基于梯度的学习至关重要的调试技术。解释涵盖了一个简单的两层网络，详细介绍了计算输出的前向传播和计算每个参数的梯度的后向传播，并强调了该过程对大型模型的效率。
-
Z世代约会应用Ditto利用人工智能促进线下约会，融资920万美元
Ditto是加州大学伯克利分校辍学生Allen Wang和Eric Liu创立的一款新的约会应用，正逐渐摆脱传统的滑动式约会应用。取而代之的是，它使用一个人工智能聊天机器人，每周三匹配大学生进行线下约会。该人工智能分析更深层次的个性特征和偏好，而非仅仅是表面兴趣，以预测化学反应。该平台已有15万用户注册，匹配成功率（匹配到约会）为20%，并已获得920万美元的种子轮融资。
-
前Spotify AI工程师筹集1000万美元，用于意图感知型电商个性化
由前Spotify员工创立的初创公司Malachyte已筹集到1000万美元的种子资金，将其先进的推荐AI应用于电商领域。该系统名为“双头向量AI”（two-headed Vector AI），专注于预测购物者的实时意图和偏好，而不是仅仅依赖于过去的购买行为。这项技术旨在为新老顾客创造更个性化的购物体验，通过单次会话和跨访问的用户互动进行持续学习。Malachyte的平台已通过API集成向Shopify商家和大型零售商提供。
-
MinMax H3 Turbo LoRA 以早期成果给 Stable Diffusion 用户留下深刻印象
Reddit 用户正在分享他们对新的 MinMax H3 Turbo LoRA 的体验和成果，该工具旨在增强 Stable Diffusion 中的视频生成能力。尽管该 LoRA 仍处于早期开发阶段，并被标记为实验性，但它已经产生了“惊人”和“出色”的效果，用户强调了它在生成的片段中创造平滑、自然运动的能力。一些用户分享了 ComfyUI（Stable Diffusion 的一个流行界面）的兼容版本和设置，这表明了社区的快速采纳和发展。
-
广义二次梯度框架统一优化方法
研究人员引入了广义二次梯度（GQG），一个统一和扩展现有二阶优化方法的新型优化框架。GQG抽象了二次梯度（QG）和简化二次梯度（SQG）的核心原理，证明了满足局部二次模型平稳条件的正定曲率矩阵足以进行构建。这种泛化允许开发超越传统Hessian近似的新型感知曲率的优化算法，在深度学习中具有潜在应用。
-
新的动力学理论正式化了零阶牛顿方法
研究人员为零阶牛顿型方法开发了正式的动力学理论，这在梯度和Hessian不可用时很有用。该框架包括一个高斯-斯坦（Gaussian-Stein）校正，用于准确估计平滑目标函数的Hessian。分析揭示了影响更新的两个噪声通道：一个来自梯度噪声，另一个来自Hessian噪声，在有噪声的Oracle条件下，后者携带一个重要的因子。动力学提升将有限步牛顿更新与欠阻尼相空间模型联系起来，产生了一个Lyapunov界限，突出了曲率与方差在步长、…
-
符号回归发现了新颖的神经网络优化器
研究人员探索了使用符号回归为前馈神经网络发现新颖的权重更新规则。在30个基准和神经网络组合的实验中，符号回归方法产生的更新规则在25个实例中优于已建立的优化器，平均均方误差（MSE）降低了44.47%。新发现的规则通常包含自适应归一化、类似动量的元素和非线性变换，这表明符号回归在创建高效优化器变体方面具有潜力，但建议进行更大规模的验证。
-
新的Transformer设计分离状态预测以提高效率
研究人员提出了状态预测分离假说，认为在Transformer中区分下一个词预测和状态存储的作用可以提高语言建模性能。一种采用两个独立计算流来执行这些功能的新型Transformer变体，展示了改进的数据和计算效率。实验表明，与标准Transformer相比，这种方法在下游任务上持续降低了验证损失，平均性能提高了2-3个百分点。
-
MiniMax AI 展示本地、离线人工智能开发，配备 428B 模型
MiniMax AI 展示了一个可在个人硬件上运行的本地人工智能设置，演示了一个结合了 4280 亿参数模型的自进化代理。该系统包含 Gradient、Parallax 和 GA agent ai 的组件，完全离线运行，无需依赖云或支付 API 费用。演示内容包括创建一个五只股票的投资组合并将输出写入磁盘，突显了去中心化人工智能发展的潜力。
-
Asana 以 7500 万美元收购 Stack AI，以管理人类-智能体团队
工作场所管理公司 Asana 以 7500 万美元收购 Stack AI，旨在将其 AI 智能体集成到其平台中，以大规模管理人类-智能体协作。此举正值 Asana 的股价因市场对 AI 对传统 SaaS 商业模式影响的担忧而大幅下跌之际。此次收购预计将加速 Asana 向企业智能体团队操作系统转型，并预计在三个月内完成全面集成。
-
Asana 以 7500 万美元收购无代码 AI 代理构建器 Stack AI
Asana 已以 7500 万美元的价格收购了专注于无代码 AI 代理构建的公司 Stack AI。此次收购是 Asana 巩固其作为原生 AI 工作场所平台地位的战略举措，旨在成为“人机协作团队的操作系统”。Stack AI 技术有望加速 Asana 在 AI 驱动的工作流自动化和预构建自动化方面的路线图，从而实现更复杂的端到端业务流程自动化。
-
Anduril 首席执行官 Brian Schimpf 详细介绍国防科技公司的增长和不断变化的战争形态
Anduril 首席执行官 Brian Schimpf 自公司成立以来一直领导这家国防科技公司，他讨论了公司早期开发自主监控塔的经历。这家公司目前的估值为 305 亿美元，正面临日益增长的审查和在战斗及测试中交付成果的压力。这篇报道标志着对 Schimpf 的首次深入了解，恰逢一份可能使 Anduril 估值翻倍的融资传闻，而此时地缘政治紧张局势加剧。
-
新工具通过优化优化器状态来减少AI训练中的GPU内存使用量
研究人员开发了一种预算感知优化器配置器（BAOC），以解决大规模模型训练过程中显著的GPU内存消耗问题。BAOC根据梯度行为以及指定的内存和时间预算，智能地为不同的网络块分配不同的优化器配置。该方法旨在在不影响训练质量的情况下减少内存使用量，并在视觉、语言和扩散模型上的实验中得到了证明。
-
新研究分析二阶优化器中的机器学习遗忘
一篇新论文分析了机器学习遗忘技术，特别是针对二阶优化器，发现当前定义可能不足。研究比较了一阶和二阶优化器在数据删除任务中的表现，指出虽然两种方法都显示出性能和梯度对齐，但二阶优化器表现出状态波动性。这种波动性表明存在一阶分析可能忽略的残余信息，表明需要受控的状态扰动来完全擦除几何信息。