NFDRL

归一化流实现参数高效的分布强化学习

研究人员开发了NFDRL，一种用于分布强化学习的新型架构，它利用连续归一化流来建模回报分布。与现有的分类或分位数方法相比，这种方法提供了更参数高效的手段，因为其模型大小不会随着分布所需分辨率的增加而增加。该系统采用几何感知Cramér代理进行训练，确保了真实的概率度量和无偏的样本梯度，这些特性是先前方法并非总是同时实现的。实证结果表明，NFDRL能够捕捉复杂的回报景观，并在Atari-5基准测试中取得与现有基线相当的性能。