强化学习 01：基础概念

强化学习架构图

强化学习解决什么问题

强化学习研究智能体如何通过与环境反复交互，学习一个能够最大化长期累积奖励的决策策略。与监督学习不同，智能体通常不会在每一步得到“正确动作”的标签，而只能观察动作带来的后果。

一次交互可以写成：

S_t \xrightarrow{A_t} (R_{t+1}, S_{t+1})

其中 $S_t$ 是时刻 $t$ 的状态， $A_t$ 是智能体选择的动作， $R_{t+1}$ 是环境返回的奖励， $S_{t+1}$ 是下一状态。

标准强化学习问题通常建模为马尔可夫决策过程（Markov Decision Process, MDP）：

\mathcal{M}=(\mathcal{S},\mathcal{A},P,R,\gamma)

马尔可夫性质要求：给定当前状态和动作后，下一状态的分布不再依赖更早的历史。

P(S_{t+1}\mid S_t,A_t,S_{t-1},A_{t-1},\ldots) =P(S_{t+1}\mid S_t,A_t)

策略描述智能体在状态 $s$ 下选择动作 $a$ 的概率：

\pi(a\mid s)=P(A_t=a\mid S_t=s)

按照策略与环境交互会产生轨迹：

\tau=(S_0,A_0,R_1,S_1,A_1,R_2,\ldots)

回报的总和定义为 return，通常考虑折扣回报以保证收敛：

从时刻 $t$ 开始的折扣回报（Discounted Return）定义为：

G_t=R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+\cdots

折扣因子控制即时奖励与长期奖励之间的权衡。 $\gamma$ 越接近 $0$ ，智能体越短视；越接近 $1$ ，智能体越重视长期结果。并且系数约束防止在无限步下return变成无穷

状态值函数衡量从状态 $s$ 出发并持续执行策略 $\pi$ 时的期望回报:

V^\pi(s)=\mathbb{E}_\pi[G_t\mid S_t=s]

动作值函数进一步指定当前动作：

Q^\pi(s,a)=\mathbb{E}_\pi[G_t\mid S_t=s,A_t=a]

二者通过策略联系起来：

V^\pi(s)=\sum_a \pi(a\mid s)Q^\pi(s,a)

智能体既要利用当前知识选择高价值动作，也要探索尚不确定的动作。常见的 $\epsilon$ -greedy 策略以 $1-\epsilon$ 的概率选择当前最优动作，以 $\epsilon$ 的概率随机探索。

强化学习方法还可以从几个维度分类：

强化学习的核心目标是寻找最优策略 $\pi^*$ ，使期望回报最大。后续章节将从 Bellman Equation 出发，把“长期回报”转化为可以递归计算和迭代优化的问题。