Peter Behroozi

新的光线追踪采样器为神经网络提供贝叶斯采样

研究人员开发了一种新的马尔可夫链蒙特卡洛（MCMC）采样方法系列，称为光线追踪采样器，其灵感来源于光线路径。与现有的哈密顿蒙特卡洛（HMC）等技术相比，该方法对梯度加热具有显著更高的鲁棒性，并且可以跨越似然障碍。该采样器已应用于神经网络输出，包括对 15 亿参数的 GPT-2 架构的初步探索，所有这些都在单个消费级 GPU 上完成。该框架还概括了先前的采样方法，允许根据任意加权函数进行采样。