优化配置文件格式，调整参数注释对齐

configs/pendulum_config.yaml

@@ -4,16 +4,16 @@
 # ==========================================
 
 # --- 算法核心参数 ---
-gamma: 0.99              # 折扣因子
-tau: 0.005               # 目标网络软更新系数 (EMA)
-alpha: 0.2               # 熵温度系数
-lr: 0.0003               # 学习率 (Adam, 3e-4)
+gamma: 0.99 # 折扣因子
+tau: 0.005 # 目标网络软更新系数 (EMA)
+alpha: 0.2 # 熵温度系数
+lr: 0.0003 # 学习率 (Adam, 3e-4)
 
 # --- 经验回放池参数 ---
-buffer_size: 1000000     # 回放池最大容量 (100万条)
-batch_size: 256          # 每次梯度更新抽样的 batch 大小
+buffer_size: 1000000 # 回放池最大容量 (100万条)
+batch_size: 256 # 每次梯度更新抽样的 batch 大小
 
 # --- 训练循环控制 ---
-max_episodes: 200        # 总共训练多少个 episode
-max_steps: 200           # 每 episode 最多步数 (Pendulum-v1 默认 200 步截断)
-start_steps: 10000       # 纯随机动作探索的步数
+max_episodes: 200 # 总共训练多少个 episode
+max_steps: 200 # 每 episode 最多步数 (Pendulum-v1 默认 200 步截断)
+start_steps: 10000 # 纯随机动作探索的步数

configs/ppo_pendulum_config.yaml

@@ -5,21 +5,21 @@
 # ==========================================
 
 # --- 算法核心参数 ---
-gamma: 0.9               # 折扣因子 (Pendulum 短周期任务用 0.9 比 0.99 更易收敛)
-gae_lambda: 0.95         # GAE λ (论文 Table 3)
-clip_epsilon: 0.2        # 概率比率裁剪范围 [1-ε, 1+ε]
-lr: 0.001                # 学习率 (PPO on-policy 更新少，适当提高 lr)
+gamma: 0.9 # 折扣因子 (Pendulum 短周期任务用 0.9 比 0.99 更易收敛)
+gae_lambda: 0.95 # GAE λ (论文 Table 3)
+clip_epsilon: 0.2 # 概率比率裁剪范围 [1-ε, 1+ε]
+lr: 0.001 # 学习率 (PPO on-policy 更新少，适当提高 lr)
 
 # --- 网络更新参数 ---
-n_epochs: 10             # 每轮收集后用同一批数据重复优化的 epoch 数
-batch_size: 64           # mini-batch 大小
-vf_coef: 0.5             # 价值损失系数 c1 (公式9)
-entropy_coef: 0.0        # 熵奖励系数 c2 (Pendulum 简单任务，不需要额外探索奖励)
-max_grad_norm: 0.5       # 梯度裁剪上限
+n_epochs: 10 # 每轮收集后用同一批数据重复优化的 epoch 数
+batch_size: 64 # mini-batch 大小
+vf_coef: 0.5 # 价值损失系数 c1 (公式9)
+entropy_coef: 0.0 # 熵奖励系数 c2 (Pendulum 简单任务，不需要额外探索奖励)
+max_grad_norm: 0.5 # 梯度裁剪上限
 
 # --- 数据收集参数 ---
-steps_per_update: 1024   # 每次更新前收集的步数 (缩短到 5 个 episode 更新一次，加速学习)
+steps_per_update: 1024 # 每次更新前收集的步数 (缩短到 5 个 episode 更新一次，加速学习)
 
 # --- 训练循环控制 ---
-max_episodes: 500        # PPO 是 on-policy，需要更多 episode 才能收敛
-max_steps: 200           # 每 episode 最多步数 (Pendulum-v1 默认 200 步截断)
+max_episodes: 500 # PPO 是 on-policy，需要更多 episode 才能收敛
+max_steps: 200 # 每 episode 最多步数 (Pendulum-v1 默认 200 步截断)