CleanRL

研究论文详细介绍了熵测量如何影响AI策略几何

一篇新发表在arXiv上的研究论文探讨了熵测量位置对连续控制任务中近端策略优化（PPO）策略几何的影响。研究发现，熵的测量位置显著改变了学习到的策略几何，影响了动作分布和均值条件。在80块肌肉的MyoLeg任务和38维Dog-Stand复制任务上的实验表明，在执行动作而非潜在动作上测量熵可以得到更居中的均值，尽管仅任务回报并不能完全表征这种有界策略几何。