Jax
PulseAugur coverage of Jax — every cluster mentioning Jax across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
新的ICICLE模型推进了学习曲线外推的贝叶斯优化
研究人员开发了ICICLE,一种用于贝叶斯优化中曲线学习外推的新型上下文内代理模型。ICICLE拥有128万个参数,在LCBench、PD1、TaskSet和Meta-Album等基准测试中,其性能与FT-PFN和Quick-Tune等现有方法相当或更优。值得注意的是,与Quick-Tune不同,ICICLE在Meta-Album基准测试上无需预训练或元训练即可实现此性能,并且通过动态生成合成训练任务提供了更有效的方法。
-
Google TPU v6e芯片支持927个具有主机持有状态的AI代理会话
在Google TPU v6e芯片上进行的一项测试测量了可并发运行的AI代理会话数量。实验发现,单个TPU v6e芯片(约33.5 GB内存)可以支持927个具有主机持有状态的代理会话,或5个保留完整聊天记录的会话。测试利用了模拟Qwen2.5-0.5B大小的缓存形状数组和源自Gemini 3.8 Flash测试的会话长度来确定内存限制,不包括模型执行速度或质量。
-
新AI方法在一分钟内学会人形运动追踪和运动
研究人员开发了XMimic和XSoma,两种学习人形运动追踪和运动的新方法。这些方法通过在多个GPU之间并行计算,将训练时间大大缩短,在一分钟内即可获得结果。XMimic专注于运动追踪,而XSoma通过精确计算动力学和地形高度来处理崎岖地形上的运动。这两种方法都比现有方法显示出显著的速度提升,并利用JAX和MuJoCo Warp模拟器进行高效训练。
-
英伟达被指控通过融资交易抬高 AI 芯片价格
使用 Claude 3.7 Sonnet 等大型语言模型的成本很大程度上受硬件定价影响,API 账单成为项目的主要开销。华尔街日报的一项调查披露,英伟达在前首席执行官黄仁勋的领导下,涉嫌利用与云服务提供商和 AI 初创公司的融资交易人为抬高图形处理器价格。该策略包括对 OpenAI 的数据中心做出巨额财务承诺,将台积电的硅晶圆和内存芯片从消费品市场转移,推高了游戏玩家和研究人员的价格。因此,H100 等 AI 加速器的租金飙升,导致 …
-
新方法加速双曲神经网络训练速度
研究人员开发了一种通过补丁统计分解来加速双曲神经网络(HNNs)计算的新方法。该方法优化了Poincaré卷积的评估,显著加快了Poincaré U-Net和Poincaré ResNet-20等模型的训练时间。与现有实现相比,该方法将内存使用量减少了高达55%,并将训练更新速度提高了1.4到1.8倍,同时保持了相似的模型性能。
-
Google Cloud 开源 TPU Sync 以加快 AI 模型传输
Google Cloud 发布了 TPU Sync,这是一个开源的 C++ 库,旨在优化 KV 缓存和模型权重在 Cloud TPUs 各内存层级之间的传输。该库通过将 TPU HBM、主机 DRAM、共享存储和数据中心网络视为统一的内存层次结构,来解决日益增长的模型状态移动瓶颈。Google 内部测试表明,KV 传输延迟和首次令牌时间 (TTFT) 显著缩短,对于大型 MoE 模型,潜在改进高达 90%。
-
谷歌DeepMind的AlphaGenome 2可预测DNA变异对不同细胞类型的影响
谷歌DeepMind推出了AlphaGenome 2,这是一个AI模型,旨在预测DNA变异对特定细胞类型的影响。与分析整个组织的先前方法不同,AlphaGenome 2通过考虑因细胞类型而异的调控开关,能够确定DNA变异如何影响单个细胞。该模型接受了超过1亿个细胞谱的训练,在识别致病变异及其影响方面显示出更高的准确性,为生物学研究提供了更精确的工具。
-
vLLM 0.33.0 要求使用 CUDA 13,采用 Model Runner V2,并提升速度
vLLM 发布了 0.33.0 版本,引入了重大变更,需要用户注意以确保顺利升级。该版本强制要求使用 CUDA 13.0,不再支持旧版本,并需要更新驱动程序。一个主要变化是完全采用 Model Runner V2 作为默认执行引擎,集成了自动 KV 缓存大小调整和批次分片采样等功能。虽然该版本移除了对 Medusa、MLP 预测器和旧版 Ray 执行器的支持,但通过调度器优化,它也带来了显著的性能提升,在不改变底层内核的情况下,输出令…
-
新的XStack基准测试揭示AI代理在ML代码库迁移方面存在困难
研究人员开发了XStack,这是一个旨在评估AI代理在不同框架和硬件生态系统之间迁移机器学习代码库能力的新基准测试。该基准测试侧重于将运行在NVIDIA GPU上的PyTorch代码库转换为适用于Google TPU的JAX代码库。目前的AI代理在此任务上面临困难,Claude Opus 5的通过率为75%,GPT-5.6-sol的通过率为45%,这表明可靠的跨生态系统迁移仍然是一个重大挑战。
-
大型语言模型学会直接读写神经网络权重
研究人员正在探索“权重空间编程”(WSP)这一新技术,大型语言模型(LLMs)可以直接读取、诊断和修改神经网络的原始数值权重。该方法绕过了传统的基于梯度的优化方法和外部训练循环,有可能实现更快的递归自我改进。研究表明,LLMs可以执行局部算术运算,识别网络功能,甚至通过最少的参数编辑显著提高性能,尽管其可靠性和泛化能力仍是积极研究的领域。
-
物理信息神经网络的新评估协议和嵌入方法
研究人员推出了PINNeval,这是一个新的评估协议和配套的JAX软件包PINNpipe,旨在系统地评估物理信息神经网络(PINNs)。该协议通过将PINN训练管道视为一个集成系统,并要求对所有组件进行有竞争力的实现,而不仅仅是正在研究的组件,从而解决了现有基准测试的局限性。另外,另一篇论文提出将Ermakov-Pinney尺度函数作为无参数嵌入整合到PINNs的输入层,并在包括线性扩散和量子振荡器在内的各种问题家族中证明了其有效性。
-
新的OrbitalGym模拟器探索规划与系统设计在卫星博弈中的影响
本文介绍了OrbitalGym,一个基于JAX的仿真环境,用于研究卫星之间的对抗性遭遇。该环境支持在GPU上进行大规模并行仿真,使研究人员能够确定规划算法或系统设计在多大程度上影响轨道博弈的结果。研究比较了包括模型预测路径积分控制和蒙特卡洛树搜索在内的各种规划方法,应用于追逐-逃避和捕食者-猎物-守卫者等不同场景,并分析了推进剂比例、传感器能力和博弈时长等因素。
-
新的KPPax工具支持大气化学的可微分机器学习
研究人员开发了KPPax,这是一个新的预处理器,它使得在机器学习框架中使用以Kinetic PreProcessor (KPP)语言编写的大气化学机制成为可能。KPPax生成的代码是可微分的、即时编译的,并使用JAX进行向量化。这使得通过diffrax库的隐式求解器和伴随计算精确的灵敏度,从而促进大气化学中的参数估计和混合物理-机器学习建模。
-
Mirendil 发布 Fern 0.1,支持 1000 万 token 上下文窗口
Mirendil 发布了其首个 AI 模型 Fern 0.1,该模型拥有一个庞大的 1000 万 token 上下文窗口。该模型专为 AI 研究和开发任务设计,特别适用于处理大型代码库和长日志。虽然 Fern 0.1 在长上下文检索方面表现强劲,但在代理编码和通用性能方面落后于领先的前沿模型。
-
新论文揭示机器学习库中的数值问题,并提出修复方案
Barron 等人最近的一篇论文指出了 PyTorch 和 JAX 等常用机器学习库中 Softmax 和交叉熵函数存在的数值问题。研究人员证明,基于属性的测试(特别是使用 Hypothesis)可以发现这些问题。他们的工作还提出了一个更稳健的 Softmax 实现,解决了这些问题并支持因果注意力掩码,代码可在 GitHub 上获取。
-
Deepity 库提供比 JAX 和 ngc-learn 更快的预测编码
一个名为 Deepity 的新预测编码库已发布,它提供了 C++/CUDA 实现和 Python 绑定。该库旨在通过使用层之间的局部信念更新和预测来提供传统反向传播的替代方案。在 MNIST 上的基准测试显示,Deepity 在速度上优于 JAX 的 jpc 和 ngc-learn,同时实现了相当或更好的准确性。
-
新的JAXbounce基准在复杂环境中测试主动推理
研究人员推出了JAXbounce,这是一个新的基准,旨在测试主动推理代理在超出简单、低维设置的连续控制环境中的表现。该基准具有连续状态、随机动力学和灵活的观测模型,可以将环境表示为状态向量或像素网格,并具有各种噪声条件。使用JAXbounce进行的实验表明,具有基于状态的主动推理和神经网络感知的代理即使在不确定性增加的情况下也能表现出偏好导向的行为,为主动推理研究提供了一个可复现的平台。
-
新AI研究涵盖自动驾驶、经济学、图像去噪和优化
研究人员开发了DriveMind,一个用于自动驾驶的新框架,它使用多模态大语言模型同时跟踪多个场景假设,提高了在模糊场景下的性能。此外,一个名为JaxMARL-BC的JAX加速模拟器已被发布,它显著加快了用于宏观经济建模的多智能体强化学习。另外,一项新研究引入了用于自监督低计数图像去噪的PARM以及用于单位立方体贝叶斯优化的新颖采集函数。
-
Anyscale 和 Google Cloud 通过 Ray 实现 TPU 上的原生 PyTorch 支持
Anyscale 和 Google Cloud 已合作推出对 Google TPU 上的 PyTorch 的原生支持,利用 Ray 分布式计算框架。此集成允许机器学习团队通过单一 Kubernetes 控制平面管理跨 GPU 和 TPU 的分布式 PyTorch 训练和推理工作负载。新方法通过启用每 TPU 芯片一个工作程序的模型,简化了从 GPU 到 TPU 的迁移,该模型模仿了熟悉的 GPU 设置,并允许进行直接的代码调整。
-
Hugging Face 集成对 Google TPUs 的原生 PyTorch 支持
Hugging Face 通过一个名为 TorchTPU 的新 PyTorch 后端集成了对 Google 张量处理单元 (TPU) 的原生支持。此次集成简化了开发者的流程,使他们无需移植到 PyTorch/XLA 或学习 JAX 即可直接在 TPU 上运行 PyTorch 代码。像 Transformers 和 Diffusers 这样流行的 Hugging Face 库现在原生支持 TPU,从而能够更轻松地在 Google 的 A…