본문으로 건너뛰기
← Portfolio Home

ROBOT LEARNING · SYSTEM INTEGRATION

Interactive
Diffusion Policy

학습 기반 작업 · 근접 회피 · 회피 후 작업 재개

기존 근접 회피 제어를 Diffusion Policy의 물체 이송 작업에 연결했습니다. 공동연구 시스템을 RB10에서 실행하고, 장애물 회피 이후에도 작업을 이어가는지 검증했습니다.

RB10 통합 실험 · 작업 수행 → 장애물 회피 → 작업 재개

27초 · 원본 ×2
01

RESEARCH BACKGROUND

근접 회피 제어를
학습 기반 작업으로 확장

이전 연구에서는 주어진 목표를 추종하면서 근접 장애물을 피하는 제어를 구현했습니다. 이번에는 Diffusion Policy가 생성하는 목표를 연결해, 물체를 집고 옮기는 작업 중에도 회피가 작동하도록 확장했습니다.

손목·외부 카메라와 근접센서를 장착한 RB10. 오른쪽 Pick 위치에서 물체를 집어 왼쪽 Place 위치로 옮기는 실험 셋업.
실험 셋업RB10 · 손목/외부 RGB 카메라 · 로봇 장착 근접센서제출 원고 Fig. 6

이전 연구 · Proximity-Based Reactive Motion Control

02

SYSTEM & CONTRIBUTION

정책·회피 제어·로봇을
하나의 실행 구조로 연결

Diffusion Policy가 말단 목표를 생성하고, RMPflow가 목표 추종과 근접센서 기반 회피를 함께 반영합니다. 회피로 학습 시연에서 벗어난 상태(OOD)에 놓이면, LPB가 정책의 행동 생성을 회복 방향으로 유도합니다.

시스템 구성과 담당 범위

겹치는 영역은 공동 수행
본인 담당
팀원 담당
OBSERVATION시각·로봇 상태

현재 작업 상태 관측

공동 수행Diffusion Policy

말단 목표 생성

CONTINUOUS CONTROLRMPflow

목표 추종 + 장애물 회피

EXECUTIONRB10

실로봇 동작 실행

RECOVERY GUIDANCELPB guidance

OOD 기반
행동 생성 회복 유도

본인 · 회피 입력 연동근접센서

거리 피드백

실행 결과 → 다음 시각·로봇 상태 관측
실행 결과는 다음 정책 관측에 반영됩니다. RMPflow는 목표 추종과 회피를 계속 함께 반영하며, LPB는 latent OOD cost가 임계값을 넘을 때 DP의 행동 생성을 유도합니다.

팀원 담당 LPB의 구현·학습·연동과 회복 데이터 수집은 팀원이 수행했습니다.

03

REAL-ROBOT VALIDATION

회피 이후의
작업 재개를 검증

동적으로 목표 진행을 막는 대표 실험에서 DP+RMPflow는 회피 후 작업을 이어가지 못하고 작업 공간과 충돌했습니다. Recovery-aware LPB를 함께 적용한 공동연구 시스템은 물체를 집어 옮기는 작업을 재개했습니다.

팀 연구 결과 · RECOVERY EVALUATION

회피 후 상태에서의
작업 완료 성공률

동일한 시스템에서 회복 방법을 바꾸어 비교했습니다. 실제 회피 상황을 반영한 데이터로 학습한 Recovery-aware LPB가 가장 높은 성공률을 보였습니다.

평가 조건회피 후 상태를 대표하는 8개 자세
자세별 10회 · 조건별 총 80회

회복 방식에 따른 작업 완료 성공률. 제출 원고 Table I.
회복 방식성공률
No Guidance회복 유도 없음25.0%
LPB기존 checkpoint rollout 데이터63.8%
Recovery-aware LPB실제 회피·작업 재개 데이터91.3%

출처: 제출 원고 Table I · 회피 후 상태에서 시작하는 작업 완료 평가

통합 실험의 실행 장면

통합 데모 발췌 · 원본 영상 시각
RB10이 작업 대상 물체를 향해 접근하는 장면
01

학습한 작업 수행

정책이 생성한 목표를 따라 물체에 접근

외부에서 접근하는 막대 끝 장애물을 로봇이 피하는 장면
02

장애물 접근 → 회피

근접센서 입력으로 동작을 조정

회피와 회복 이후 로봇이 물체를 집어 들어 작업을 재개한 장면
03

회복 후 작업 재개

물체를 집어 들어 이송을 이어감

공동연구 시스템의 실행 장면 · 시각은 하단 전체 제출 영상 기준입니다.
04

VIDEO & RESOURCES

공동연구 전체 영상과
제출 자료

근접센서와 회피 제어부터 회복 적용 비교, 통합 실험까지 담은 3분 12초 제출 영상입니다. 주요 비교 구간은 아래 버튼으로 바로 확인할 수 있습니다.

센서·회피 제어 → 회복 적용 비교 → 통합 실험

3분 12초 · 장면별 배속은 영상 내 표기

01:50 비교 구간 · 왼쪽: DP + RMPflow · 오른쪽: Recovery-aware LPB 추가

PAPER & RESOURCES

Interactive Diffusion Policy

Safe Reactive Avoidance through Proximity Sensing
in Human-Robot Shared Environments

Submitted to IEEE Robotics and Automation Letters
NEXT PROJECTUndergraduate Projects →