SOAR-RL: Safe and Open-Space Aware
Reinforcement Learning Navigation
- 협소 공간에서 사람과 공존해야 하는 모바일 로봇을 위해, 3D LiDAR와 RGB 카메라를 융합해 개별 보행자의 위치·속도를 추정하고 위험 영역(Danger Zone)을 동적으로 생성했습니다.
- 정적 장애물·사람·위험 영역을 층으로 쌓은 Human-Aware Occupancy Map(HAOM)과, 이동 가능 방향(Open-space)을 반영한 보상 설계로 강화학습 정책을 학습했습니다.
- 동적 장애물 1–6개 시나리오에서 평균 성공률 94% — 기존 crowd navigation 알고리즘 대비 더 짧은 경로와 주행 시간을 달성했습니다.
PROBLEM왜 어려운 문제인가
복도나 통로처럼 좁은 공간에서는 로봇이 사람을 피하려다 벽에 몰리거나, 반대로 사람 곁을 위협적으로 스쳐 지나가기 쉽습니다. 전통적인 경로 계획은 사람을 "움직이는 장애물"로만 취급해 보행자의 진행 방향을 고려하지 못하고, 기존 crowd navigation 연구는 넓은 열린 공간을 가정해 협소 공간에서는 성능이 급격히 떨어집니다. 이 연구는 "사람이 어디로 움직이는가"와 "로봇이 어디로 피할 수 있는가"를 모두 상태로 표현하는 것에서 출발했습니다.
METHOD 1센서 융합 기반 사람 인식
3D LiDAR 포인트클라우드를 전처리(지면 제거, 다운샘플링, ROI 추출)한 뒤, YOLOv11의 사람 Bounding Box와 매칭해 개별 사람 단위로 군집화합니다. 프레임 간 중심점 이동으로 보행자 속도를 추정하고, 위치·속도 기반의 위험 영역(Danger Zone)을 사람마다 동적으로 생성합니다.
METHOD 2Human-Aware Occupancy Map (HAOM)
로봇 주변 10m×10m를 0.01m/cell 고해상도로 표현하는 Occupancy Map을 설계했습니다. Static(정적 장애물) · Human(인식된 사람) · DangerZone(위험 영역) 세 개의 레이어를 융합해, 강화학습 에이전트가 "비어 있는 공간"과 "곧 사람이 지나갈 공간"을 구분할 수 있는 상태 표현을 만들었습니다.
METHOD 3Open-Space 인지 보상 설계와 학습
NVIDIA Isaac Sim / Isaac Lab에서 벽이 있는 공간에 동적 장애물을 배치하고, HAOM 기반 장애물 정보와 이동 가능 거리(Open-space)를 상태로, Open-space 방향을 활용한 보상 구조로 정책을 학습했습니다. 직선·L자·교차로 코스와 장애물 1–6개 조합으로 다양한 시나리오를 구성해 일반화 성능을 확보했습니다.
RESULTS성능 평가
(최소 87% 이상)
(Timeout 0%)
비교군 최단
성능 향상
| Method | SR (%) ↑ | CR (%) ↓ | TOR (%) ↓ | μPL (m) ↓ | μS (m/s) | NT (s) ↓ |
|---|---|---|---|---|---|---|
| ORCA | 31.0 | 68.0 | 1.0 | 2.91 | 0.35 | 8.41 |
| CADRL | 78.0 | 16.0 | 6.0 | 4.49 | 0.56 | 8.04 |
| LSTM-RL | 89.0 | 8.0 | 3.0 | 7.05 | 0.87 | 8.10 |
| DSRNN | 93.0 | 7.0 | 0.0 | 10.01 | 1.02 | 9.78 |
| SOAR-RL (Ours) | 94.0 | 6.0 | 0.0 | 4.21 | 0.61 | 5.28 |
SR: 성공률 · CR: 충돌률 · TOR: 시간 초과율 · μPL: 평균 경로 길이 · NT: 주행 시간. 성공률은 가장 높으면서 DSRNN 대비 경로 길이는 58% 짧습니다.
DEMO시연 영상
논문 공식 영상 — 시나리오별 학습·평가 과정 전체 (3:52)
CITATIONBibTeX
@Article{s25175236,
AUTHOR = {Jun, Minkyung and Park, Piljae and Jung, Hoeryong},
TITLE = {SOAR-RL: Safe and Open-Space Aware Reinforcement Learning
for Mobile Robot Navigation in Narrow Spaces},
JOURNAL = {Sensors},
VOLUME = {25},
NUMBER = {17},
ARTICLE-NUMBER = {5236},
YEAR = {2025},
ISSN = {1424-8220},
DOI = {10.3390/s25175236}
}