굴착 영역 지형 데이터에 기반한 굴착 경로 계획

2.1 굴착 지형 데이터의 획득

자율형 굴착기 다양한 지형에서 최적의 굴착을 하기 위해서는 굴착 경로 알고리즘이 지형 데이터를 받을 수 있어야 한다. 본 알고리즘의 지형 데이터의 획득과 변형 과정을 Fig. 1에 나타내었다. 본 연구에서는 다양한 시각적인 데이터를 얻기 위하여 RGB-Depth 카메라(Intel RealSense D455 Stereo Depth Camera)를 사용한다. 해당 카메라는 굴착기의 케빈 위에 전방 30^o 아래를 바라보며 설치되었다. 설치된 RGB-D 카메라는 굴착 전 버켓을 약 2 m 들어올린 상태에서 지면을 촬영하였다. RGB-D 카메라를 통해 얻은 깊이 이미지는 카메라 좌표계에서의 Point Cloud로 변환하였다. 이후 굴착기의 굴착 경로 생성에 사용할 지형 데이터로써 사용하기 위해 좌표계를 붐 조인트의 좌표계로 변환시킨다. 좌표계의 변환 매트릭스는 식(1)과 같다.

Fig. 1

Flowchart of obtaining site terrain data

좌표계를 일치시킨 Point Cloud는 필요 없는 데이터를 제거하고 실질적인 굴착 영역 내부의 Point Cloud만 남기도록 한다. x축은 중앙에서 좌우로 버켓의 폭인 1.4 m만큼, y축으로는 일반적인 굴착 영역인 3-10 m, z 축으로는 촬영 자세에서 버켓을 지우기 위해 1 m 이하의 Point Cloud만을 남긴다.

지형 데이터를 사용하는 많은 연구에서는 지형 데이터를 측면에 투영시킨 뒤 평균 높이를 구하여 알고리즘에 적용하였다[6,8]. 본 연구에서도 절삭된 포인트 클라우드를 x축 성분을 제거함으로써 yz 평면으로 투영하였다. 그 뒤 y축의 범위 7 m를 0.1 m 간격으로 나누어 각 구간 내 점들의 평균 높이를 구하였다. 카메라의 각도에 의해 점이 없어 비어 있는 간격이 있는 경우 선형 보간을 통해 데이터를 채우도록 하였다. 모든 간격의 깊이 데이터를 구하면 이를 지형 데이터로서 경로 생성 알고리즘에 사용하였다.

2.2 숙련된 작업자의 굴착 특징 분석

숙련된 작업자들은 오랜 시간 동안 반복적으로 높은 능률과 지형에 관계없는 작업 안정성을 가진 굴착이 가능하다. 따라서 숙련된 작업자들의 굴착 경로로부터 공통된 규칙을 얻음으로써 규칙 기반 알고리즘의 좋은 자료를 얻을 수 있다고 판단할 수 있다. 실제로 많은 연구에서는 굴착 경로를 지면을 뚫고, 끌고, 들어올리는 3개의 단계로 나누어 분석하였고[5,7,11], 숙련된 작업자들과의 인터뷰에서 3단계의 굴착에 익숙해지는 것이 기초가 됨을 확인하였다. 하지만 단계를 나누는 것 이외에 경로를 구성하게 될 여러 구속 조건이 필요하다. 본 연구에서는 숙련된 굴착기 작업자들의 경로로부터 특징을 추출하여 숙련자들의 높은 능률과 안정성을 가진 경로를 모방하고자 하였다.

굴착기는 본체인 케빈을 제외하고 붐, 암, 버켓으로 명명된 3개의 링크와 각 링크를 잇는 회전 조인트로 이루어진 3R Manipulator의 형태를 가진다. Lee 등[11]에서는 숙련자들의 경로를 붐, 암, 버켓 조인트의 회전 각도를 조인트 사용량으로 정의하고 각 조인트의 사용량에 따라 4단계, 들어올리는 Up을 제외하면 3단계로 나누었다. 실제로 조인트의 사용량에 따라 구간이 나뉘는 것을 대략적으로 확인이 가능하였다. 하지만 해당 연구는 단순화가 많이 적용되어 있고, 평평한 지형에서만 적용이 가능하다는 한계점이 명확하다. 본 연구에서는 이 분석 방식만을 가져와 실험에 참여한 숙련된 작업자들의 경로를 분석하였다. 본 연구에서는 Penetration, Drag, Curl의 3단계로 명명하며, Fig. 2처럼 나타나게 된다. 이에 따라 굴착 경로는 지형을 버켓으로 뚫고 들어가는 Penetration, 버켓을 끌어 직선에 가깝게 흙을 담는 Drag, 버켓을 흙과 함께 지면 위로 들어올리는 Curl 단계로 나누어지며, 각 단계는 조인트 사용량을 통해서 구분이 가능하다. 10년 이상의 경력을 가진 숙련자 세 명의 경로를 조인트의 사용량에 따라 나눈 결과, 평균적인 조인트 사용량은 Fig. 3처럼 나타났다. 첫번째 숙련자는 버켓만을 사용하는 굴착 스타일을 보여주었고, 두번째와 세번째 숙련자의 경우 암 또한 사용하는 비슷한 경향을 보였지만 Curl 단계에서 암의 사용이 차이가 났다.

Fig. 2

Three phases of excavation trajectory

Fig. 3

Three experts’ joint usages for each phase

숙련자들과의 인터뷰와 경로 분석을 통해 다음과 같은 특징들을 추출하였다. 1) Penetration과 Curl 단계는 버켓을 주로 사용하였고, Drag에서는 대부분 암과 버켓을 비슷한 비율로 사용하였다. 2) Drag 단계에서는 굴착 목적에 따라 다르지만 일반적으로 높이를 일정하게 굴착하는 작업이 많다. 3) 붐의 경우 굴착 깊이를 보조하는 역할이다.

2.3 기초 생성 알고리즘

본 연구는 숙련된 작업자들의 경로로부터 얻은 특징들을 이용하여 규칙 기반의 경로 생성 알고리즘을 완성하였다. 각 단계에 대한 특징은 수학적으로 표현할 수 있으며, 경로에 대한 조건을 추가함으로써 굴착경로를 생성할 수 있다. 이 알고리즘에 지형 데이터를 적용 가능하도록 함으로서 실제 환경에서 지형에 관계없이 굴착이 가능한 알고리즘을 만들고자 한다.

Penetration 단계는 시작점 P₁에서 Drag 단계의 시작점 P₂까지의 경로를 생성하는 단계이다. 이 단계에서는 버켓의 각도를 음수로 고정하여 이후 단계에서 양수 해를 배제였고 이를 통해 역기구학적으로 문제가 없도록 하였다. 붐 각도는 지형 데이터의 깊이와 경사도에 따라 조정되며, 암 각도는 붐 과 버켓 각도가 정해진 후 역기구학을 통해 계산하였다.

숙련된 작업자들의 경로를 분석한 결과, 최저 깊이는 0.3-0.6 m임을 확인하였다. 이에 따라 붐 조인트의 회전을 통해 지면의 경사에 의한 깊이 차이를 보정하였고, 약 1 m 거리의 지면 평균 깊이를 기준으로 y₂를 0.4 m 깊이로 지정하였다. 이를 통해 P₂의 좌표와 Penetration 경로, 그에 따른 조인트 각도들을 결정하였다.

Drag 단계는 P₂에서 Curl 단계의 시작점 P₃까지의 경로를 포함하는 단계이다. 이 단계에서는 직선 움직임을 구현하여 버켓에 토사를 채우는 작업을 수행하였다. 붐 각도는 굴착이 진행될수록 버켓 팁의 높이가 낮아졌다가 다시 올라오는 경향을 보정하기 위해 각도가 증가 후 감소하는 것을 구현하였다. 숙련자들의 작업 경로를 분석한 결과, 붐 각도는 2-6^o 증가 후 감소하며 이를 통해 암 조인트의 높이가 최대 0.15-0.5 m 정도 보정되는 것을 확인하였고 이에 따라 수치를 조정하였다. 암과 버켓 각도는 직선 경로의 점들을 결정한 후 역기구학으로 계산하였다.

Curl 단계는 P₃에서 끝점 P₄까지의 경로로, 토사를 끌어 올리는 작업을 수행하는 단계이다. 이 단계에서는 버켓 조인트만을 사용하여 이미 채워진 버켓을 들어올리는 간단한 경로를 유지하였다. 시작점 P₁과 P₄의 x축 거리 차이는 굴착 길이로 정의되며, 최대 4.5 m까지로 설정하였다.

본 알고리즘의 경로는 굴착 작업에 용이한 속도와 가감속을 위해 Trapezoidal(사다리꼴) 속도 프로파일의 궤적을 따르도록 적용하였다. 먼저 시작점과 끝점의 조인트 각도를 구하고, 그중 가장 큰 각도 변화량에 정해진 최대 한계 조인트 각속도 V_max를 나누어 시간을 결정하였다. Penetration과 Curl 단계의 경로에서는 암, 버켓, 붐 조인트의 각속도가 Trapezoidal 속도 프로파일을 따르도록 설정하였다. 다만 Drag 단계에서는 직선 경로 위의 직선 속도가 Trapezoidal 속도 프로파일을 따르도록 하였으나, 암 링크가 수직에 가까울 때 버켓이 빠르게 움직이는 현상이 발생하여 계산식에서 V_max를 반절로 적용하였다. 모든 Trapezoidal 속도 프로파일은 가속, 등속, 감속 시간이 동일하도록 설정하였다. 속도 프로파일을 통해 굴착 경로를 0.1초마다 이동해야 하는 Waypoint 들의 집합으로 변형할 수 있다.

2.4 제한 부피에 의한 변형 알고리즘

굴착기는 굴착 과정에서 진입 각도나 지형, 토사의 상태에 따라 버켓 앞의 토사에 과도한 부하가 발생하며, 이는 자율형 굴착기의 Tip-over 현상을 비롯한 사고나 장치의 고장을 초래할 수 있다. 과도한 부하를 방지하기 위해 Fig. 4와 같이 굴착 경로의 부피를 미리 계산하고, 굴착되는 토사의 부피가 버켓의 크기에 비해 과하게 크게 계산될 경우 경로를 수정하는 알고리즘을 추가하였다. 지형 데이터와 경로 데이터 사이의 높이 차를 적분하는 방식을 사용하여 시작점으로부터 각 Waypoint까지 지형과 경로 사이의 부피를 계산한다. 만약 Curl 단계가 시작되는 P₃ 이전에 미리 설정해 둔 부피 제한에 도달할 경우, 그 Waypoint를 Curl 단계의 새로운 시작점 P₃^'으로 Curl 경로를 생성하게된다. 새로운 P₄의 경우 P₃^'으로부터 버켓 조인트를 회전시켜 지면에 닿는 점으로 결정한다. 이후 각 경로에서 Trapezoidal 속도 프로파일을 재적용 시킨다.

Fig. 4

Trajectory modification by volume limit

3.1 실험 과정

본 연구에서는 군산의 건설기계부품연구원에 있는 지능형 30톤 굴착기를 사용하였다. 먼저 굴착 위치를 바라본 상태에서 RGB-Depth 카메라를 사용하여 지형 데이터를 수집하고, 이 데이터를 토대로 굴착 경로 생성과 실제 굴착이 진행되었다. 굴착된 토사는 평탄화시킨 지면 중 정해진 한 위치에 모아 하차하였다. 같은 위치를 3번 굴착 후 평탄화시킴으로써 일반적인 산업 현장과 비슷한 굴착을 시뮬레이션하였고, 평지와 1,2회 파인 지형에서 굴착한 데이터를 모두 사용함으로써 지형의 다양성을 주고자 하였고 총 15번의 굴착이 진행되었다.

3.2 굴착 토사 부피 측정

굴착기의 능률을 계산하기 위해서는 굴착한 토사의 부피를 측정해야 한다. Fig. 5는 본 연구에서 굴착 토사의 부피를 측정한 방식을 소개한다. 먼저 뎁스 카메라를 사용하여 토사더미를 촬영하였다. 토사는 최대한 같은 위치에 하차하여 그 뒤 RANSAC (Random Sample Consensus) 알고리즘을 통해 평평한 지면을 구하였고, DBSCAN (Density-based Spatial Clustering of Applications with Noise) 알고리즘을 통해 굴착 토사와 그 외 노이즈를 구분하였다. 굴착 토사에서 카메라의 각도에 의해 점이 비어 있는 그리드는 선형 보간을 통해 채워 넣었고, 각 그리드의 높이를 적분하여 굴착 부피를 측정하였다.

Fig. 5

Excavation volume calculation

4.1 알고리즘 경로와 실제 경로

Fig. 6은 생성된 굴착 경로와 실제 경로를 시각화한 자료이다. 굴착기는 알고리즘에 의해 생성된 경로를 대체로 따라가는 경향을 보였지만, 완벽히 해당 경로를 추적하지는 않았다. Fig. 7에서 조인트 각도를 확인해 본 결과, 굴착기 제어에서 움직임 지연이 생기는 것을 확인하였다. 움직임 지연은 굴착 중이 아닌 일반적인 지면 위에서의 움직임에도 존재하였기에, 완벽히 정확한 제어는 불가능하다는 것을 확인하였다. 지면 위에서의 움직임 지연은 붐, 암, 버켓 순서로 0.5, 0.4, 0.2초의 지연이 발생하였다. 굴착 중에 제어 지연이 더 커지는 경우가 있는지 확인해본 결과, 버켓의 최대 움직임 지연이 0.6초로 간혹 0.1초가량 더 길어지는 경우가 있음을 확인하였다. 이 추가 지연은 Penetration 단계에서는 발생하지 않고, 버켓에 흙의 부하가 커지기 시작하는 Drag 단계와 Curl 단계에서만 발생하였다.

Fig. 6

Trajectory from algorithm and real trajectory

Fig. 7

Joint angle trajectory from algorithm and real trajectory

4.2 알고리즘 경로의 구동성 검증

4.2.1 버켓 밑면과 경로의 충돌 여부

움직임 지연이 본 알고리즘의 문제인지 확인하기 위해 두 가지의 조건들을 검증하였다. 먼저 굴착 경로를 추적할 때 버켓 밑면과의 충돌이 존재하는지 확인하였다. 버켓의 밑면은 버켓의 앞면과 44.4^o를 이루는 모양이기에 굴착 경로와 버켓 사이의 각도가 너무 클 시 버켓의 밑면이 굴착 중 파지 않은 토사와 만나게 되어 굴착이 불가능한 경로가 된다. Fig. 8은 경로와 버켓 밑면의 각도를 나타낸 그래프로, 0^o 이상일 때 충돌이 없다고 확신할 수 있다. 검증 결과 Drag 단계에서 0.9^o로 가까스로 충돌을 피하는 경우가 존재하였지만 Drag 단계의 가장 끝에서 발생하였고, 충돌은 전혀 존재하지 않는 것을 확인하였다.

Fig. 8

Angle between trajectory and bucket floor

4.2.2 버켓 최고 각속도

굴착기 조인트들의 각속도는 버켓의 경우가 언제나 가장 빨랐다. 굴착작업 외의 작업에서는 최대 초당 30-40^o까지 증가하고, 굴착기 조인트의 실질적인 최대 제어 각속도는 약 초당 60^o 정도인 것으로 확인하였다. 따라서 굴착 중 버켓 조인트의 각속도는 이 수치를 넘지 않아야 한다. 본 알고리즘의 버켓 각속도는 Fig. 9에 나타나듯 한계치인 40^o를 순간적으로 찍는 모습을 보이기는 했지만, 그 외의 경우에 모두 해당 속도들을 넘지 않는 모습을 보였다. 이 결과는 조건을 충족하기는 하지만, 굴착 시 토사의 부하 때문에 움직임 지연이 더 길어질 수 있다는 점을 고려하여 좀 더 낮은 속도를 추적하도록 한다면 더 나은 경로 추적 정확도를 가지게 될 것으로 판단된다.

Fig. 9

Maximum angular velocity of bucket joint

이로써 본 연구의 알고리즘이 밑면이 경로와 충돌하지 않고, 일반적인 작동 각속도 범위 내에서 작동하는 안전 요구 조건을 만족하는 경로를 생성함을 검증하였다.

4.3 숙련된 작업자와의 능률 비교

Figs. 10과 11이 보여주듯이, 굴착 부피의 경우 본 알고리즘이 약 2.22% 높은 결과를 보였다. 이는 본 알고리즘에서 Curl 단계가 제한 부피 이후로 버켓을 들어올리게 되면서 더 많이 굴착하게 되기 때문이라고 예상된다. 다만 굴착 시간의 경우 약 11.4% 더 긴 결과를 보였다.

Fig. 10

Excavation volume comparison

Fig. 11

Excavation time comparison

Fig. 12는 굴착 부피를 시간으로 나눈 능률을 나타낸 그래프이다. 본 알고리즘은 모두 평균을 낸 능률에 비해서 약 5.81% 낮은 능률을 보였다. 보다 나은 비교를 위해 P-value 0.05에 따른 T-test를 진행한 결과, 숙련된 작업자에 비해 통계적으로 낮은 수치라고 보기 힘들다는 가설이 수용되었다. 이는 본 연구의 알고리즘이 충분히 숙련된 작업자와 비슷한 능률을 보인다는 것을 검증한다.

Fig. 12

Excavation efficiency comparison