Ewaluacja, benchmarki i środowiska

TL;DR

W modułach 05-10 i 14 widzieliśmy kilkanaście planerów. Każdy z nich ma jakąś intuicję — który jest obiektywnie najlepszy? Odpowiedź: żaden. Każdy ma kompromis: szybkość vs jakość, jednostkowy vs wielokrotny, optymalność vs prostota. Ten moduł podaje liczby — w tabeli niżej widzisz 5 planerów na 3 mapach testowych, z 5 seeds per kombo. Pełna metodologia: success rate, mean planning time, path length, smoothness, clearance.

Drugie zadanie tego modułu: katalogowanie ekosystemu — symulatory (MuJoCo, Isaac, Drake, PyBullet, Gazebo), frameworki planistyczne (MoveIt2, OMPL, cuRobo), benchmark suites (MotionBenchMaker, MπNets, OCRTOC). Bez tego nie ma jak porównać wyników z literaturą ani reprodukować eksperymentów.

Profesjonalne benchmark suites

Powyższe demo używa naszych 3 toy maps — dobre dla intuicji, ale niewystarczające do publikacji wyników. Standardy w robotyce:

OMPL Benchmark

Standard de facto dla porównywania planerów próbkowych. OMPL ma wbudowane Benchmark framework — wystarczy zdefiniować problem (start, goal, geometria), wybrać planery, ustalić czas/iteracje, OMPL uruchamia setki biegów i generuje raport z mean ± std. Stosowane w 90% papersów o sampling-based.

MotionBenchMaker

Chamzas et al. 2022— zestaw 40+ realistycznych scenariuszy manipulacyjnych dla 5 robotów (Panda, Baxter, Fetch, UR5, Kuka). Każdy scenariusz: kompletna scena 3D (URDF+SDF) + zadanie pick&place. Standardowy benchmark dla 7-DOF planowania. KavrakiLab/motion_bench_maker.

MπNets Dataset

Fishman et al. 2022 — 3.6M pre-computed expert trajectories Pandy dla różnych scen, użyte do treningu Motion Policy Networks. Można też używać jako benchmark — porównaj generated trajectories z expertami. fishbotics/motion-policy-networks.

cuRobo Benchmark

Sundaralingam et al. 2023 — benchmark dla GPU-accelerated planning. cuRobo pokazuje 50-100× speedup vs CPU planery na typowych zadaniach Pandy.

OCRTOC (Open Cloud Robot Table Organization Challenge)

Konkurencyjny benchmark od Alibaba/Tsinghua — robot musi przearanżować obiekty na stole zgodnie ze specyfikacją. ocrtoc.org.

Reprodukowalność i protokoły porównań

Większość papersów w robotyce ma kiepską reprodukowalność — wyniki zależą od implementacji, parametrów, hardware. Praktyki podnoszące jakość porównań:

1. Identyczny zbiór zadań: użyj MotionBenchMaker / MπNets — nie wymyślaj własnych „losowych" scenariuszy.
2. Deterministyczny seed: dla każdego biegu zapisz seed; w papersach raportuj N=100+ seeds z mean ± std.
3. Identyczne stop criteria: time budget OR max iterations OR cost threshold — wybierz JEDNO i trzymaj konsekwentnie.
4. Identyczny hardware: CPU vs GPU różnią się 10-100×. Raportuj specs (CPU model, GPU, RAM).
5. Code release: GitHub repo z exact parametrami + Dockerfile dla reprodukowalności.
6. Tail vs mean: dla real-time MPC raportuj p99 latency, nie tylko mean. „Mean 5 ms" z p99 = 200 ms NIE jest real-time.

Sim-to-real i kalibracja

Wszystko powyżej ewaluuje w symulacji. Realny robot zwraca inne wyniki. Sim-to-real gap bierze się z:

• Modelowanie: nieliniowości fizycznej (tarcie, luzy mechaniczne, deformacja)
• Sensors: kamera ma szum, latency, brakuje klatek; encoderowy odczyt joints może drifować
• Aktuatory: motorom Pandy odpowiada dynamika z opóźnieniem ~10ms (PD inside firmware), w sim często idealne
• Calibration: deklarowana kinematyka Pandy może różnić się od fizycznej o mm (offset baz)

Strategie redukcji gap:

1. Domain randomization: w sim trenuj policy z losowanymi parametrami (tarcie, masy, kamera noise) → policy uczy się być robust
2. System identification: zmierz fizyczne parametry robota (impulse response, friction), aktualizuj symulator
3. Online adaptation: meta-RL / adaptive control dostosowuje się w trakcie wykonania
4. Direct sim-to-real transfer: dla planowania motion (nie RL) gap jest mniejszy — symulacyjna trajektoria zwykle działa też w realu z drobną kalibracją kinematyki

Referencje

• Chamzas et al., „MotionBenchMaker: A Tool for Generating and Benchmarking Motion Planning Datasets" (IEEE RA-L 2022). GitHub.
• Fishman et al., „Motion Policy Networks" (CoRL 2022) — MπNets dataset.
• Sundaralingam et al., „cuRobo: Parallelized Collision-Free Robot Motion Generation" (ICRA 2023).
• Moll, Sucan, Kavraki, „Benchmarking Motion Planning Algorithms: An Extensible Infrastructure for Analysis and Visualization" (IEEE RAM 2015) — OMPL Benchmark.
• Todorov, Erez, Tassa, „MuJoCo: A physics engine for model-based control" (IROS 2012).
• Makoviychuk et al., „Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning" (NeurIPS 2021).
• Tedrake & the Drake Development Team, „Drake: Model-based design and verification for robotics" (2019).
• Coleman, Sucan, Chitta, Correll, „Reducing the Barrier to Entry of Complex Robotic Software: a MoveIt! Case Study" (JOSER 2014).
• Carpentier et al., „The Pinocchio C++ library: A fast and flexible implementation of rigid body dynamics algorithms and their analytical derivatives" (SII 2019).
• Liu, Mateti, Yi & Rosell, „OCRTOC: A Cloud- Based Competition and Benchmark for Robotic Grasping and Manipulation" (IEEE RA-L 2022).