Machine Learning4 min read
强化学习 01：基础概念
从智能体与环境的交互出发，建立状态、动作、奖励、回报、策略和马尔可夫决策过程的基本框架。
Working notes
Notes
Shorter records for ideas still being worked through: concepts, equations, implementation details, and experiments.
Tags#强化学习
Machine Learning9 min read
强化学习 02：Bellman Equation
推导策略值函数的 Bellman 期望方程，理解一步奖励与后续价值之间的递归关系。
Machine Learning14 min read
强化学习 03：Bellman Optimality Equation
从固定策略的价值递推走向最优价值递推，理解最优策略、贪心改进与 Bellman 最优算子。
Machine Learning3 min read
强化学习 04：值迭代与策略迭代
比较值迭代、策略迭代与广义策略迭代，掌握已知环境模型时求解有限 MDP 的经典方法。
Machine Learning4 min read
强化学习 05：Monte Carlo Learning
使用完整回合的实际回报估计值函数，并通过探索与重要性采样实现同策略和异策略控制。
Machine Learning4 min read
强化学习 06：Stochastic Approximation
从 Robbins-Monro 递推理解随机近似，分析学习率、噪声与强化学习增量更新的收敛条件。
Machine Learning3 min read
强化学习 07：Temporal-Difference Learning
从 TD 误差、n-step return 和 eligibility trace 出发，理解 SARSA、Q-learning 等在线控制算法。
Machine Learning4 min read
强化学习 08：Value Function Approximation
用参数化模型表示大规模状态空间中的值函数，理解半梯度 TD、投影 Bellman 方程与深度 Q 网络。
Machine Learning3 min read
强化学习 09：Policy Gradient Methods
直接对参数化策略的期望回报求梯度，掌握 REINFORCE、基线、优势函数与稳定策略更新。
Machine Learning4 min read
强化学习 10：Actor-Critic Methods
结合策略优化与价值估计，理解 Actor-Critic 更新、GAE、异策略变体和连续控制算法。
Learning record
Learning timeline
- PaperAutonomous Driving
AccidentSim：从真实事故报告生成具有物理真实性的车辆碰撞视频
AccidentSim 从 NHTSA/NMVCCS 真实事故报告提取物理线索，在 CARLA 中重建碰撞仿真，再以仿真轨迹 LoRA 微调 Llama 得到 AccidentLLM，由事故文本直接预测物理一致的碰撞后轨迹，最终通过前景—背景合成生成可控视角的碰撞视频。
- PaperAutonomous Driving
TRACE：面向自动驾驶评测的拓扑感知事故重建
TRACE 将 NHTSA 真实事故报告自动转换为 CARLA 可执行仿真场景：结合 OpenStreetMap 还原真实道路拓扑，用 LLM 推断缺失的车辆初始状态，生成允许逆行、跨实线等异常行为的轨迹，并通过碰撞位置、撞击点和轨迹一致性验证。
- PaperAutonomous Driving
Learning Naturalistic Driving Environment with Statistical Realism
NeuralNDE：用 Transformer 行为模型 + Conflict Critic + Safety Mapping + 对抗训练，生成统计意义上逼近真实世界的自然驾驶环境，包括 crash 与 near-miss 等长尾安全关键事件。
- PostDeep Learning
常用损失函数：从误差度量到任务目标
系统梳理机器学习与深度学习中常见的损失函数，理解它们的数学形式、梯度特性、适用场景，以及如何根据任务选择和组合损失。
- NoteMachine Learning
强化学习 01：基础概念
从智能体与环境的交互出发，建立状态、动作、奖励、回报、策略和马尔可夫决策过程的基本框架。
- NoteMachine Learning
强化学习 02：Bellman Equation
推导策略值函数的 Bellman 期望方程，理解一步奖励与后续价值之间的递归关系。
- NoteMachine Learning
强化学习 03：Bellman Optimality Equation
从固定策略的价值递推走向最优价值递推，理解最优策略、贪心改进与 Bellman 最优算子。
- NoteMachine Learning
强化学习 04：值迭代与策略迭代
比较值迭代、策略迭代与广义策略迭代，掌握已知环境模型时求解有限 MDP 的经典方法。
- NoteMachine Learning
强化学习 05：Monte Carlo Learning
使用完整回合的实际回报估计值函数，并通过探索与重要性采样实现同策略和异策略控制。
- NoteMachine Learning
强化学习 06：Stochastic Approximation
从 Robbins-Monro 递推理解随机近似，分析学习率、噪声与强化学习增量更新的收敛条件。
- NoteMachine Learning
强化学习 07：Temporal-Difference Learning
从 TD 误差、n-step return 和 eligibility trace 出发，理解 SARSA、Q-learning 等在线控制算法。
- NoteMachine Learning
强化学习 08：Value Function Approximation
用参数化模型表示大规模状态空间中的值函数，理解半梯度 TD、投影 Bellman 方程与深度 Q 网络。
- NoteMachine Learning
强化学习 09：Policy Gradient Methods
直接对参数化策略的期望回报求梯度，掌握 REINFORCE、基线、优势函数与稳定策略更新。
- NoteMachine Learning
强化学习 10：Actor-Critic Methods
结合策略优化与价值估计，理解 Actor-Critic 更新、GAE、异策略变体和连续控制算法。
- PostDeep Learning
Transformer 架构与训练详解
从整体架构、注意力机制到优化器与大规模预训练，系统梳理 Transformer 的组成和训练过程。