RL 학습 — Isaac Lab에서 mechadog 정책 만들기

PC(x86_64, NVIDIA RTX 3070+ 권장)에서 시뮬레이션으로 PPO 정책을 학습한 뒤 ONNX로 export합니다. 학습된 정책은 Rock 5C의 RKNN/CPU에서 직접 배포됩니다.

1. PC 환경 준비

요구 사양

설치

# 1. CUDA(드라이버·toolkit) — host system에 맞게 설치 후
# 2. Isaac Sim 5.x via Omniverse Launcher (https://docs.isaacsim.omniverse.nvidia.com/5.1.0/installation/requirements.html)
# 3. Isaac Lab Git Clone
git clone https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
./docker/container.sh  # 또는 직접 install
pip install -e .
pip install rsl-rl-lib==2.3.0  # PPO + Student-Teacher Distillation

2. mechadog용 12 DOF URDF 준비

기본적으로 ODRI Solo12 12dof v1의 URDF를 출발점으로 사용합니다. URDF는 다음을 만족해야 합니다:

• base_link 1개 · leg_<q>_hip_aa / hip_fe / knee_calf 각 4개의 총 12 링크
• 관절 한계 (joint limits) 정의
• 모든 joint의 effort limit을 MG90S의 정격 토크(≈ 0.18 N·m)에 맞게 줄여둔다 — 그렇지 않으면 시뮬의 무한 토크로 학습되어 real에서 못 따라감
• 베이스에 IMU frame(BNO055 X·Y·Z 정합)을 미리 정의

# Solo12 12dof URDF 복사 후 수정
mkdir -p mechadog_description/urdf
cp /path/to/solo_12dof_v1.urdf mechadog_description/urdf/mechadog.urdf

# effort limit 변경 (텍스트 한 줄 sed)
sed -i 's/effort="[0-9]\+\.[0-9]\+"/effort="0.180"/g' mechadog_description/urdf/mechadog.urdf
sed -i 's/effort="[0-9]\+\.[0-9]\+"/effort="0.180"/g' mechadog.urdf

3. Isaac Lab 환경 정의

본 mechadog 프로젝트는 모든 환경 정의 setup에서 leggedrobotics/legged_gym 패턴을 그대로 사용합니다.

# file: mechadog_lab/envs/mechadog/mechadog_env_cfg.py
from isaaclab.envs import ManagerBasedRLEnvCfg
from isaaclab.managers import ObservationGroupCfg, ObservationTermCfg
from isaaclab.assets import ArticulationCfg
from isaaclab.utils.assets import ISAACLAB_NUCLEUS_DIR
import isaaclab.sim as sim_utils
from isaaclab_tasks.manager_based.locomotion.velocity import mdp
from dataclasses import MISSING

MECHADOG_USD = "mechadog/usd/mechadog.usd"   # URDF → Isaac Sim Import 출처

@configclass
class MechadogRoughEnvCfg(ManagerBasedRLEnvCfg):
    scene = SceneCfg(num_envs=4096, env_spacing=2.5)
    robot = ArticulationCfg(
        prim_path="{ENV_REGEX_NS}/Robot",
        spawn=sim_utils.UsdFileCfg(usd_path=MECHADOG_USD),
        actuators={leg_joint: ImplicitActuatorCfg(joint_names_expr=[...], effort_limit=0.18, stiffness=20.0, damping=0.5)},
    )
    commands = UniformVelocityCommandCfg(sampling_range=(-1.0,1.0), rel_standing_envs=0.1)
    rewards = RewardsCfg()    # r_track_lin, r_track_ang, r_torque, r_action_rate, r_orientation, r_alive
    observations = ObservationsCfg()  # 48-dim obs: base state (9) + cmd (3) + joint pos (12) + joint vel (12) + last action (12)
    terminations = TerminationsCfg()  # base contact terminate, time out 20s

    decimation = 4   # 200 Hz decision, 50 Hz control
    sim_dt = 0.005

4. PPO 학습 launch (rsl_rl)

python scripts/reinforcement_learning/rsl_rl/train.py \
    --task Isaac-Mechadog-Velocity-Rough-v0 \
    --num_envs 4096 \
    --headless \
    --max_iterations 2000 \
    --run_name mechadog_walk_v26p06

RTX 4080 기준 ~15-25분(iter 1000회) 내외. 도메인 랜덤화 강도에 따라 1k~3k iter 필요.

5. 보상 함수 (요지)

상수 권장값:

6. 도메인 랜덤화 (외부 충격 저항 자세 보정 학습)

# file: mechadog_lab/envs/mechadog/randomizers.py
from isaaclab.managers import RandomizationTermCfg as RandTerm
import isaaclab.sim as sim_utils

# 본체에 가해지는 임펄스 (외부 충격 모사)
@torch.no_grad()
def push_impulse(env, env_ids):
    env_origins = env.scene.env_origins[env_ids]
    # 힘 / 토크 random per env, 적용 0.5s 동안 1회
    for i, env_id in enumerate(env_ids):
        # base link apply force/torque
        force = torch.tensor(np.random.uniform(-30, 30, 3))
        torque = torch.tensor(np.random.uniform(-5, 5, 3))
        env.robot.set_external_force_and_torque(force, torque, env_id)

# 다음 reset마다 본체 질량 ±10%, 마찰 ±25%
@torch.no_grad()
def randomize_mass(env, env_ids):
    rng = np.random.uniform(0.9, 1.1, len(env_ids))
    env.robot.root_physx_view.set_masses(env_ids, env.base_mass * rng)

7. ONNX export & 검증

python scripts/reinforcement_learning/rsl_rl/play.py \
    --task Isaac-Mechadog-Velocity-Rough-v0 \
    --num_envs 1 \
    --checkpoint /logs/mechadog_walk_v26p06/model_2000.pt \
    --export_onnx /out/policy.onnx

생성된 policy.onnx(~90 KB)는 Rock 5C에 복사. CPU 50 Hz 추론 시 한 inference ~ 3 ms.

8. 카메라 인지 — 옵션: YOLO-Nano depth 사전 학습

본 격차는 학습 시뮬의 카메라 입력을 0채널 placeholder로 두면 발생합니다. 본 프로젝트에서는 시뮬에서 합성 depth map (4채널)을 정책 obs 끝에 합칩니다:

# 합성 카메라 입력 (4 depth bins × 16×16 sectors = 1024 dim)으로 obs 확장
cam_feature = simulate_lidar_4bin(env)    # Isaac Lab ray cast
obs = torch.cat([base_state, joint_state, last_action, cam_feature], dim=-1)
# obs 차원: 48 + 1024 = 1072 → RoboStudio에서 실제로는 256-512로 차원 축소

9. 학생용 시작 루트 정리

1. Isaac Lab 설치 (RTX 3070+ 권장, 위 step 1)
2. Solo 12dof URDF 복제 + effort limit 0.18 N·m 적용
3. leggedrobotics/legged_gym의 anymal_c_flat 환경을 그대로 복붙해 mechadog_flat으로 rename
4. 50 iter 짧게 학습 — 잘 도는지 5분 만에 확인
5. 잘 동작하면 1000~3000 iter 본격 학습
6. ONNX export → Rock 5C에 복사
7. 제어 페이지의 ROS2 노드 + CRSF 파서로 배포

10. 학습 비용 추정 (학생 1인 기준)

다음 단계

• RF 조종 / ONNX 배포 →