RL-Study
强化学习算法实现与学习笔记，基于赵世钰老师《Mathematical Foundations of Reinforcement Learning》。
项目结构
RL-Study/
├── Lecture slides/ # 课程幻灯片
│ ├── slidesForMyLectureVideos/ # 配套视频课件
│ └── slidesContinuouslyUpdated/ # 持续更新的课件
├── Notebooks/ # Jupyter 学习笔记
│ ├── C1.ipynb ~ C10.ipynb # 各章节推导与实验
│ ├── SAC.ipynb # SAC (Soft Actor-Critic) 算法
│ └── *_training_results.png # 训练结果可视化
├── RawBook/ # 原书资源
├── RL_Algothrithms/ # 核心算法实现
│ ├── agents/ # 智能体实现
│ │ ├── a2c.py # A2C (Advantage Actor-Critic)
│ │ ├── qac.py # QAC (Q-Value Actor-Critic)
│ │ ├── off_pac.py # Off-PAC (Off-Policy Actor-Critic)
│ │ ├── ddpg.py # DDPG (Deep Deterministic Policy Gradient)
│ │ └── dpac.py # DPAC (Deterministic Policy Actor-Critic)
│ ├── networks.py # 离散动作空间网络 (Actor, QCritic, VCritic)
│ ├── networks_cont.py # 连续动作空间网络 (ContActor, ContQCritic)
│ ├── utils.py # 工具函数
│ ├── main.py # 离散动作空间训练入口 (CartPole-v1)
│ ├── disp_main.py # 离散动作空间多算法对比
│ └── cont_main.py # 连续动作空间训练入口 (Pendulum-v1)
└── TRPO/ # TRPO (Trust Region Policy Optimization) 独立实现
├── models.py # ActorNet (高斯策略), CriticNet (值函数)
├── utils.py # RolloutBuffer, GAE, 共轭梯度, FVP
├── agent.py # TRPO 智能体
└── main.py # TRPO 训练入口 (Pendulum-v1)
已实现算法
离散动作空间（CartPole-v1）
| 算法 | 文件 | 说明 |
|---|---|---|
| A2C | agents/a2c.py | Advantage Actor-Critic，同步版本，V-critic，带熵正则化 |
| QAC | agents/qac.py | Q-Value Actor-Critic，On-policy SARSA 风格，支持 GPU |
| Off-PAC | agents/off_pac.py | Off-Policy Actor-Critic，带重要性采样，epsilon 探索 |
连续动作空间（Pendulum-v1）
| 算法 | 文件 | 说明 |
|---|---|---|
| DDPG | agents/ddpg.py | Deep Deterministic Policy Gradient，离策略，带目标网络和软更新 |
| DPAC | agents/dpac.py | Deterministic Policy Actor-Critic，在策略 |
| TRPO | agent.py | Trust Region Policy Optimization，共轭梯度法 + 线搜索 + GAE |
环境配置
pip install torch numpy matplotlib gymnasium
快速开始
离散动作空间（CartPole-v1）
cd RL_Algothrithms
python main.py --agent a2c # 训练 A2C
python main.py --agent qac # 训练 QAC
python disp_main.py # 多算法对比训练
连续动作空间（Pendulum-v1）
cd RL_Algothrithms
python cont_main.py # 训练 DDPG 和 DPAC
TRPO
cd TRPO
python main.py # 训练 TRPO
关于原书
- 书名: Mathematical Foundations of Reinforcement Learning
- 作者: Shiyu Zhao (Westlake University)
- GitHub: MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning
- B站: 赵世钰老师频道
- YouTube: 课程列表
License
MIT License（代码部分）