HIQL

新算法CARL增强分层强化学习中的技能可复用性

研究人员开发了一种名为CARL（对比动作表示用于可复用局部控制）的新算法，以提高分层强化学习（HRL）中技能的可复用性。CARL利用局部动力学的规律性，表明在不同的全局环境中，相似的动作序列对于状态转移是必需的。通过将这些环境与其所需的动作序列对齐，该算法学习在哪里以及复用哪些技能，可能使各种HRL算法受益。该方法在复杂环境中展示了定性的技能聚类，并在与HIQL集成后，在OGBench基准测试中提高了性能。