Hongru 771eba8607 重构 PPO/TRPO 训练流程并添加对比绘图 ...

- PPO: 改为 Actor/Critic 联合小批量训练，新增梯度裁剪 (max_grad_norm)，
  分离 actor_lr/critic_lr，添加 get_value()，GAE 部分补充论文公式注释
- TRPO: 添加 get_value()，调整 tau 从 0.97 到 0.95
- Networks: 移除 PolicyNet 输出层的 tanh，初始化 log_std=0 以增强探索
- Main: 抽取 train_agent() 通用训练函数，新增 TRPO 训练和 PPO vs TRPO
  对比曲线图（原始曲线 + 滑动平均平滑曲线）

2026-04-02 16:36:55 +08:00

agent

重构 PPO/TRPO 训练流程并添加对比绘图

2026-04-02 16:36:55 +08:00

.gitignore

first commit

2026-04-02 02:24:35 +00:00

environment.yml

first commit

2026-04-02 02:24:35 +00:00

main.py

重构 PPO/TRPO 训练流程并添加对比绘图

2026-04-02 16:36:55 +08:00

networks.py

重构 PPO/TRPO 训练流程并添加对比绘图

2026-04-02 16:36:55 +08:00

requirements.txt

first commit

2026-04-02 02:24:35 +00:00

S

Description

TRPO与PPO一类Policy Gradient算法

56 KiB

Languages

Python 100%