RL_TRPO

2 Commits 2 Branches 0 Tags

2 Commits

Author	SHA1	Message	Date
Hongru	771eba8607	重构 PPO/TRPO 训练流程并添加对比绘图 - PPO: 改为 Actor/Critic 联合小批量训练，新增梯度裁剪 (max_grad_norm)，分离 actor_lr/critic_lr，添加 get_value()，GAE 部分补充论文公式注释 - TRPO: 添加 get_value()，调整 tau 从 0.97 到 0.95 - Networks: 移除 PolicyNet 输出层的 tanh，初始化 log_std=0 以增强探索 - Main: 抽取 train_agent() 通用训练函数，新增 TRPO 训练和 PPO vs TRPO 对比曲线图（原始曲线 + 滑动平均平滑曲线）	2026-04-02 16:36:55 +08:00
Hongru	96cd594be9	first commit	2026-04-02 02:24:35 +00:00

Author

SHA1

Message

Date

Hongru

771eba8607

重构 PPO/TRPO 训练流程并添加对比绘图

- PPO: 改为 Actor/Critic 联合小批量训练，新增梯度裁剪 (max_grad_norm)，
  分离 actor_lr/critic_lr，添加 get_value()，GAE 部分补充论文公式注释
- TRPO: 添加 get_value()，调整 tau 从 0.97 到 0.95
- Networks: 移除 PolicyNet 输出层的 tanh，初始化 log_std=0 以增强探索
- Main: 抽取 train_agent() 通用训练函数，新增 TRPO 训练和 PPO vs TRPO
  对比曲线图（原始曲线 + 滑动平均平滑曲线）

2026-04-02 16:36:55 +08:00

Hongru

96cd594be9

first commit

2026-04-02 02:24:35 +00:00