Hongru
6b8156eceb
- 新增 RL_Algothrithms 模块，包含 A2C、QAC 智能体 - 添加 SAC 章节笔记和 C10 笔记 - 上传训练结果图片 - 完善 README 与 .gitignore
2.0 KiB
2.0 KiB
RL-Study
强化学习算法实现与学习笔记，基于赵世钰老师《Mathematical Foundations of Reinforcement Learning》。
项目结构
RL-Study/
├── Lecture slides/ # 课程幻灯片
│ ├── slidesForMyLectureVideos/ # 配套视频课件
│ └── slidesContinuouslyUpdated/ # 持续更新的课件
├── Notebooks/ # Jupyter 学习笔记
│ ├── C1.ipynb ~ C10.ipynb # 各章节推导与实验
│ ├── SAC.ipynb # SAC (Soft Actor-Critic) 算法
│ └── *_training_results.png # 训练结果可视化
├── RawBook/ # 原书资源
└── RL_Algothrithms/ # 核心算法实现
├── agents/ # 智能体实现
│ ├── a2c.py # A2C (Advantage Actor-Critic)
│ └── qac.py # QAC (Soft Actor-Critic / Q-Value Actor-Critic)
├── networks.py # 神经网络定义
├── utils.py # 工具函数
└── main.py # 训练入口
已实现算法
| 算法 | 文件 | 说明 |
|---|---|---|
| A2C | a2c.py | Advantage Actor-Critic，同步版本 |
| QAC | qac.py | Q-Value Actor-Critic，支持 GPU |
环境配置
pip install torch numpy matplotlib gymnasium
快速开始
cd RL_Algothrithms
python main.py --agent a2c # 训练 A2C
python main.py --agent qac # 训练 QAC
关于原书
- 书名: Mathematical Foundations of Reinforcement Learning
- 作者: Shiyu Zhao (Westlake University)
- GitHub: MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning
- B站: 赵世钰老师频道
- YouTube: 课程列表
License
MIT License（代码部分）