REINFORCE 算法

什么是 REINFORCE 算法？

REINFORCE 算法是一种策略梯度算法，属于强化学习领域，基于蒙特卡罗方法。实现该算法的简单方法是采用梯度上升来改进策略，通过直接增加预期累积奖励来实现。该算法不需要环境模型，因此被归类为无模型方法。

REINFORCE 算法的关键概念

下面简要描述了一些与 REINFORCE 算法相关的关键概念：

• 策略梯度方法 - REINFORCE 算法是一种策略梯度方法，这类算法通过遵循预期累积奖励的梯度来改进策略。
• 蒙特卡罗方法 - REINFORCE 算法代表了一种蒙特卡罗方法的形式，因为它利用采样来评估所需量。

REINFORCE 算法是如何工作的？

REINFORCE 算法由 Ronald J. Williams 于 1992 年提出。该算法的主要目标是通过调整策略参数来最大化预期累积奖励。该算法训练智能体在环境中做出顺序决策。REINFORCE 算法的逐步分解如下：

情节采样

该算法首先从与环境交互的完整情节中采样，其中智能体遵循其当前策略。情节包括一系列状态、动作和奖励，直到状态终止。

状态、动作和奖励的轨迹

智能体记录交互轨迹 - (s₁,a₁,r₁,......s_t,a_t,r_t)，其中 s 表示状态，a 表示采取的动作，r 表示在每个步骤中获得的奖励。

回报计算

回报 G_t 回报表示智能体期望从时间 t 开始获得的累积奖励。

G_t = r_t + γr_t+1 + γ²r_t+2

计算策略梯度

计算预期回报相对于策略参数的梯度。为了实现这一点，需要计算所选行动的对数似然的梯度。

更新策略

在计算预期累积奖励的梯度后，策略参数会朝着增加预期奖励的方向更新。

重复上述步骤，直到状态终止。与专注于即时奖励的时间差分学习（Q 学习 和 SARSA）不同，REINFORCE 允许智能体从状态、动作和奖励的完整序列中学习。

REINFORCE 算法的优点

REINFORCE 算法的一些优点包括：

• 无模型 - REINFORCE 算法不需要环境模型，这使得它适用于环境未知或难以建模的情况。
• 简单直观 - 该算法易于理解和实现。
• 能够处理高维动作空间 - 与基于价值的方法相比，REINFORCE 算法可以处理连续和高维动作空间。

REINFORCE 算法的缺点

REINFORCE 算法的一些缺点包括：

• 高方差 - REINFORCE 算法在其梯度估计中可能会出现较大的方差，这可能会减慢学习过程并使其不稳定。
• 样本利用效率低 - 该算法需要为每个梯度计算提供一组新的样本，这可能不如多次利用样本的技术有效。