强化学习 06：Stochastic Approximation

为什么需要随机近似

强化学习中的目标通常是某个期望，例如：

h(\theta)=\mathbb{E}[H(\theta,X)]

但环境分布未知，只能获得随机样本 $X_t$ 。随机近似（Stochastic Approximation, SA）通过带噪声的增量更新，寻找方程 $h(\theta)=0$ 的根或目标函数的最优点。

Robbins-Monro 形式为：

\theta_{t+1} =\theta_t+\alpha_t \left[h(\theta_t)+M_{t+1}\right]

其中 $\alpha_t$ 是步长， $M_{t+1}$ 表示零均值或鞅差噪声。

估计随机变量 $X$ 的均值时，可以使用：

\mu_{t+1} =\mu_t+\frac{1}{t+1}(X_{t+1}-\mu_t)

括号中的 $X_{t+1}-\mu_t$ 是当前样本给出的修正方向。强化学习中的许多更新也具有相同结构：

\text{新估计} =\text{旧估计} +\text{步长}\times\text{误差信号}

经典收敛条件要求：

\sum_{t=0}^{\infty}\alpha_t=\infty, \qquad \sum_{t=0}^{\infty}\alpha_t^2<\infty

第一项保证总更新量足够大，不会过早停止；第二项保证噪声的累计影响有限。常见选择为：

\alpha_t=\frac{c}{(t+1)^\beta}, \qquad \frac{1}{2}<\beta\le 1

实际深度强化学习常使用固定或分段衰减学习率。它未必满足渐近收敛条件，但能持续适应数据分布和策略变化。

忽略噪声并把离散时间看作连续过程，SA 更新对应：

\dot{\theta}=h(\theta)

如果该常微分方程的平衡点 $\theta^*$ 是渐近稳定的，那么在适当条件下，随机迭代也会趋近 $\theta^*$ 。这个视角常用于分析 TD learning、Q-learning 和 actor-critic 的收敛性。

以表格型 TD(0) 为例：

V(S_t) \leftarrow V(S_t)+\alpha_t\delta_t

其中：

\delta_t =R_{t+1}+\gamma V(S_{t+1})-V(S_t)

TD 误差 $\delta_t$ 是对期望 Bellman 误差的随机观测。Q-learning 也可以写成：

Q(S_t,A_t) \leftarrow Q(S_t,A_t)+\alpha_t \left[ R_{t+1}+\gamma\max_aQ(S_{t+1},a)-Q(S_t,A_t) \right]

Actor-Critic 同时更新价值参数 $w$ 和策略参数 $\theta$ 。常见分析让 critic 的步长 $\beta_t$ 大于 actor 的步长 $\alpha_t$ ：

\frac{\alpha_t}{\beta_t}\rightarrow 0

直观上，critic 在 actor 看来几乎已经完成对当前策略的评估，而 actor 则在 critic 看来缓慢变化。这样可以降低两个学习过程彼此追逐造成的不稳定。

随机更新中的噪声可以通过以下方法减弱：

调试随机近似算法时，应同时观察参数变化、误差信号和采样分布。学习率过大会导致震荡或发散，过小会使策略几乎不再改善；而数据相关性、非平稳目标和函数近似，又会让经典独立同分布假设不再成立。

随机近似提供了理解强化学习增量算法的统一语言：每次更新只是带噪声的一小步，但在合适的步长、稳定性和持续探索条件下，这些小步可以逼近一个确定的固定点。