재난대응로봇은 사람이 직접 접근하기 힘든 환경에 들어가 재난 현장 탐사 및 구조활동을 수행하는 로봇이다.³ Haynes 등은 복잡한 재난 환경에서 이동, 양팔을 이용하여 문따기, 인명 탐사가 가능한 휴머노이드형 로봇 CHIMP (CMU Highly Intelligent Mobile Platform)를 개발하였다.⁴ Centauro는 복잡한 재난 환경에서 이동 안전성 및 신속성을 확보하기 위해 필요에 따라 4개의 다리로 이동하거나 바퀴로 이동한다.⁵ OCTOPUS는 크롤러 기반의 이동 매커니즘과 4개의 팔을 이용하여 전면과 후방의 작업을 동시에 할 수 있도록 개발되었다.⁶ 이처럼 기존의 재난대응 로봇에 대한 연구들은 불안정한 환경에서 임무 수행이 가능하도록 기구적인 개선을 수행하였다.

재난대응로봇의 관제시스템은 재난 현장에서 운용을 위한 상황 및 환경 정보 수신과 시각화를 수행하고, 로봇 제어 명령을 송신한다. OCTOPUS의 관제시스템은 3명의 오퍼레이터(Operator)가 카메라를 보고 4개의 팔 및 크롤러를 조작하도록 하였다. Gregory 등은 iRobot사의 Packbot과 Clearpath Robotics사의 Huscy를 각각의 오퍼레이터가 조작하고, 두 로봇으로부터 획득한 정보를 관제시스템에서 통합하여 시각화한다.⁶ 이러한 관제시스템은 로봇 제어를 용이하게 하지만 관제시스템이 로봇에 종속적이어서 신규 플랫폼 추가 및 확장이 어려운 문제가 있다. 제안하는 시스템은 다중 Roscore를 기반으로 본 문제를 해결하였다.

일본의 Kimura 등은 이종의 로봇을 활용한 재난 대응 플랫폼을 제안하였다.⁷ 제안하는 플랫폼은 다수의 로봇들이 재난 상황을 파악하며, 파악된 정보를 통합하여 시각화한다. 하지만 기존 재난대응로봇의 관제시스템은 오퍼레이터가 원격 조작을 용이하게 만드는 부분에 집중되어 있으며, 다중 로봇을 위한 관제시스템 역시 로봇과 오퍼레이터가 1 : 1로 매칭되어 많은 인력이 필요한 문제가 있다. 제안하는 통합관제시스템은 공조제어시스템을 적용하여 단일 오퍼레이터가 다수의 로봇에 명령을 주고, 필요 시 집중적으로 제어할 수 있도록 개발하였다. Zou 등은 VR 장비를 통해 재난 감지 로봇 자동차 모델을 제어하는 시스템을 개발하였다.⁸ 또한 Patil 등은 다양한 잔해를 포함한 재난환경에서 이동하기 위한 Pathfinder형의 로봇 및 ROS 기반의 SLAM을 적용한 제어시스템은 제안하였다.⁹

Fig. 3은 다중 Roscore를 이용한 재난대응로봇과 원격제어시스템 간의 로봇 상태, 상황 정보 및 로봇 제어 명령 송수신을 위한 구조도이다.

Fig. 3 
Integrated control system based on multi-roscore

로봇의 원격 제어를 위해 필요한 정보인 영상, 로봇 위치, 배터리 상태 정보 등은 로봇으로부터 TCP/UDP 통신을 이용하여 통합관제시스템으로 전송된다. 통합관제시스템에서는 TCP/UDP 통신을 이용하여 수신한 정보를 ROS에서 표준화된 메시지로 변환한 후 GUI 인터페이스를 이용하여 시각화한다. 오퍼레이터는 시각화된 정보를 이용하여 로봇이 이동할 경로 또는 제어 명령을 결정한다. 명령은 동일하게 TCP/UDP 통신을 거쳐서 전달되며, 로봇은 수신한 명령을 표준화된 ROS 메시지로 변환하여 사용한다. 따라서 로봇 및 통합관제시스템 내에서는 기존 개발된 ROS 소프트웨어들을 추가적인 수정 없이 사용 가능하다. Fig. 3에서 ROS-UDP/TCP Translation 노드가 UDP/TCP 통신을 통해 들어온 정보를 표준화된 ROS 메시지로 변환하며, UDP/TCP Communication 노드에서 실제 통신을 수행한다. UDP/TCP 프로토콜은 ROS 표준화 메시지형, 메시지 이름 및 데이터를 포함하여 구성하였다.

제안하는 통합관제시스템과 실제 로봇 간의 연동을 위해 ROS 노드를 구성하고, 노드 간의 메시지 및 통신 문제를 고려하여 UDP/TCP로 송수신될 정보를 정의하였다. Fig. 4는 제안하는 시스템의 ROS 노드 및 노드 간의 메시지 전송 구조이다. 로봇 플랫폼(Robot Platform) 계층은 7개의 노드로 구성되어 있다. 먼저 속도의 입력값을 통해 로봇을 제어하는 속도 제어(Velocity Control) 노드, 미리 정의된 임무를 수행하기 위한 임무 명령 수행(Task Command Execution) 노드, 영상 정보를 수신하기 위한 카메라 노드, 로봇의 LiDAR 센서로부터 지역지도를 생성하는 지역 지도 생성(Local Map Generation) 노드, 입력된 목표 위치로 이동하기 위한 로봇 네비게이션(Robot Navigation) 노드, 그리고 TCP/UDP 프로토콜 기반 정보를 전달하기 위한 노드이다.

Fig. 4 
Detail of ROS message communication between robot and integrated control system

통합관제시스템은 다수의 로봇으로부터 획득된 지역 지도를 통합하기 위한 전역지도 생성(Global Map Generation) 노드와 목표 지점까지 탐색 경로를 생성하기 위한 탐색 경로 생성(Exploration Path Generation) 노드로 구성된다.¹⁰ 사용자의 정보시각화 및 로봇 제어 명령 인터페이스는 RQT 기반으로 개발하였으며, 목표 위치 설정, 경로 선택, 생성된 전역 지도 시각화, 로봇 영상 정보, 로봇 제어 인터페이스, 임무 명령 전송으로 구성되어 있다. 파란색 선은 로봇 내부의 Roscore 통신, 녹색과 주황색 선은 통합관제시스템 내의 Roscore 통신을 나타낸다. 그리고 붉은색 선은 로봇과 통합관제시스템 사이의 UDP/TCP 통신을 나타낸다.

일반적으로 로봇은 임무를 수행하기 위해 LiDAR, Compass, IMU, UWB, Camera 등의 다양한 센서를 이용하여 제어를 수행한다.¹¹ 제안하는 통합관제시스템에서 송수신하는 정보 및 로봇 제어 명령은 Table 1과 같이 6종류로 정의된다. 여기서 영상정보는 로봇 운용에 가장 필요하나 정보의 크기가 상대적으로 크기 때문에 UDP 통신을 통해 전송된다. 로봇의 내부의 센서로 획득하여 생성한 현재 위치 및 지도 정보는 UDP 통신을 통해 전송되며, 통합관제시스템의 전역지도 생성 노드와 연계되어 시각화된다. 로봇 자율 이동을 위한 네비게이션 명령과 제어신호는 주기적인 명령이 아니므로 TCP 통신을 이용하여 송수신한다. 오퍼레이터는 로봇을 제어하는데 조이스틱을 사용할 수도 있으며, 조이스틱의 각도 변화가 로봇의 모터 회전 속도에 반영되어 위치와 방향값을 생성한 후 UDP 통신을 통해 전송되는 방식이다. 마지막으로 미리 정의한 로봇의 임무인 이륙, 착륙, 이동 등의 명령은 TCP 통신을 통해 해당 로봇으로 전송된다. 각 로봇을 구분하기 위해 ROS 메시지 이름에는 네임스페이스(Name Space, $ns)가 적용된다.

본 절에서는 제안하는 시스템의 ROS 노드 구성 및 로봇 정보와 제어 명령을 전달하기 위한 표준화된 ROS 메시지와 UDP/TCP 통신 전달 방법에 대한 정의를 서술하였다. 제안하는 시스템에서 통신 문제가 발생할 경우 Table 1의 메시지 전송이 소실되거나 지연될 수는 있지만, 한 번 전달된 제어 명령 및 상태 정보는 각각의 시스템에서 로봇이 활용되는 센서 정보와 함께 독립적으로 활용되기 때문에 최악의 경우 로봇이 마지막 제어 명령을 수행 후 정지하여 소방관 및 요구조자에 대한 2차 피해를 방지할 수 있다.

Fig. 5는 재난대응로봇으로부터 획득한 정보를 시각화하고, 로봇의 상태 정보를 확인하며, 로봇에게 제어 명령을 보내기 위한 조종석이다.

Fig. 5 
Cockpit for operating robot

로봇의 상태 정보를 확인하기 위한 주모니터, 로봇에게 임무를 내리기 위한 보조모니터, 그리고 비상정지 및 미리 정의된 임무를 수행할 수 있는 버튼과 조이스틱으로 구성되어 있다.

Fig. 6은 로봇의 정보를 시각화하기 위한 GUI이다. Fig. 6(a)는 로봇을 직접 운용하기 위해 RQT로 개발한 GUI이며, 로봇으로부터 획득한 영상 정보, 로봇의 위치, 로봇의 현재 속도, 로봇에 부착된 센서 등의 정보를 시각화한다.¹² Fig. 6(b)는 로봇의 현재 위치로부터 목표 지점을 입력하고, 이동 가능 경로를 선택 및 전달하기 위한 GUI이며, 오퍼레이터는 로봇에게 임무를 내린 후 다른 업무를 수행할 수 있다. Fig. 6(c)는 로봇으로부터 획득한 지역지도인 분홍색 영역을 회색 영역으로 표현된 전역지도와 융합하고, 생성된 전역지도를 시각화하기 위한 GUI로, rviz를 이용하여 개발되었다.¹³

Fig. 6 
Interface for information visualization

Fig. 7은 통신 불안정에 의해 관제시스템 내의 Roscore와 로봇의 연결이 끊겼을 때 발생하는 현상을 확인하기 위해 Turtlebot3를 이용하여 실험을 수행한 결과이다. Fig. 7의 왼쪽은 관제시스템내 rviz를 통해 가시화된 로봇의 위치이며, 오른쪽은 실제 로봇의 이동 상태이다. 로봇은 시작 위치에서 Fig. 7(b)와 같이 x 방향으로 0.05 m/s로 움직이는 명령을 받았다. 로봇이 이동 중 Roscore를 종료시키면 Figs. 7(c)와 7(d)와 같이 충돌할 때까지 로봇의 상태 정보를 관제시스템에서 받을 수 없어 위치가 변하지 않는다. Figs. 7(e)의 시간에 따른 로봇 위치 변화를 보면 Roscore를 종료시킨 7(c)시점부터는 로봇이 이동하고 있으나 로봇의 이동 정보가 추적되지 않는 것을 확인할 수 있다. 이러한 현상은 종료된 Roscore 뿐만 아니라 기존 사용되었던 네비게이션을 포함한 모든 노드를 재실행시켜 시스템을 복귀할 수 있다.

Fig. 7 
Change of robot pose when roscore is lost

제안하는 Multi-Roscore 기반의 통합관제시스템의 성능을 검증하기 위하여 Fig. 8과 같이 지상정찰로봇 2기와 공중정찰로봇 1기를 관제하는 상황을 구성하였다. 지상정찰로봇은 크롤러 타입의 이동체이며, 조이스틱을 이용한 직접 이동이 가능하다. 공중정찰로봇은 드론형 이동체이며, 미리 정의된 임무 명령, 이륙, 착륙, 지상정찰로봇 투하, 이동 및 생성된 경로점을 이용한 자율 이동이 가능하다. 로봇의 운용을 실험하기 위한 건물은 2층으로 구성된 실험용 건물이며, 통신은 최대 30 Mbps의 대역폭을 갖는 애드혹(Ad-Hoc) 방식의 통신 모듈을 사용하였다.

Fig. 8 
Robots used in the experiment

Fig. 9는 공중정찰로봇의 임무 수행 과정이다. 공중정찰로봇의 임무는 실외에서 이륙하여 실내로 들어간 후 지상정찰로봇을 투하하고, 이륙했던 위치로 돌아와 착륙하는 것이다. Roscore에 문제가 생긴 상황을 재연하기 위해 Fig. 9(a)에서는 로봇을 실행시킨 후 관제시스템의 Roscore를 종료하여 로봇과 관제 장치의 연결을 강제로 종료시킨 후 Roscore 및 관제 장치의 TCP/UDP Translation 노드를 포함한 ROS 노드를 재실행시켰다. 이후 Figs. 9(b)부터 9(f)와 같이 왼쪽의 RQT GUI 버튼을 이용하여 이륙 명령을 전달하였으며, 오른쪽과 같이 관제 장치와 연결이 일시적으로 끊긴 후에도 드론의 임무 수행 명령 데이터 송수신의 문제 없이 전송되는 것을 보여준다. Figs. 9(b)부터 9(f)의 순서대로 실내 이동, 지상정찰로봇 투하, 이륙 위치로 이동 및 착륙에 대해 각각 미리 정의된 명령을 전달하고, 임무를 수행하였다. 본 실험을 통해 관제 장치의 Roscore가 재부팅되는 시점에 로봇의 임무 명령을 일시적으로 송수신할 수 없지만 이후 이전 상태와 동일하게 임무 명령의 송수신이 가능한 것을 확인하였다.

Fig. 9 
Areail robot execution depending on task commands

Fig. 10은 지상정찰로봇과 그 인터페이스이다. 2대의 로봇이 실험 환경 1층과 2층에 각각 배치되었으며, 콕핏의 조이스틱을 이용하여 오퍼레이터가 로봇을 제어한다. 로봇은 Figs. 4의 구조로 ROS 노드를 실행하였으며, 10의 오른쪽 하단의 콧핏(Cockpit)을 이용하여 제어되는 로봇의 영상 정보를 10의 오른쪽 상단과 같이 실시간으로 전송되는 것을 확인하였다.

Fig. 10 
Ground robot execution with joistkc controller