협동 로봇 및 Depth 카메라를 활용한 선박 블록 벽체의 도막 두께 측정 연구

1. 서 론

도장 작업은 제품 표면에 일정 두께의 막을 형성하여 외부 충격 및 화학적 부식으로부터 제품을 보호하고, 외관 및 기능을 장기간 유지한다[1]. 특히 선박은 습기와 염분이 많은 해양 환경에 지속적으로 노출되기 때문에, 이러한 환경에 적합한 도막 품질 유지는 매우 중요하다. 선박의 도막이 균일하지 않으면 부식 등으로 선박 운행의 안전성과 성능이 저하될 가능성이 높다[2].

선박 블록 도장은 전문 인력에 의한 수작업으로 진행되고 있으며, 열악한 작업 환경은 낮은 작업 효율성과 작업 인력의 높은 위험성을 초래한다. 따라서 자동화 및 무인화 도장 공정 기술 개발 필요성이 매우 높으며, 이에 따라 로봇을 활용한 선박모듈 벽체 도장 및 검사 기술 연구가 많은 관심을 받고 있다[3]. 특히, 자동화 시스템에 다양한 센서를 부착하여 물체 위치를 식별하고 표면 결함을 검사하는 연구가 진행 중이다[4]. 그러나 선박 도장 작업 환경의 복잡성 때문에 완전한 자동화는 어려워 협동 로봇 등의 협업 시스템 기반의 도장 작업 및 관련 기술 연구가 높은 관심을 받고 있다.

본 연구에서는 대표적인 인간-협업 로봇 시스템인 협동 로봇과 Depth 카메라 기반의 선박 블록 벽체 도장 품질 검사에 관한 기초 연구를 수행하였다. 협동 로봇의 말단부(End-effector)에 Depth 카메라 설치하고, 빠른 계산 속도와 정확도를 갖춘 Popular Object Detection Model을 적용하여, 선박 블록 벽체의 도장 작업과 유사한 철판 위에 작업 된 도장의 두께를 측정하는 실험을 수행하였다. RGB-D 카메라 기반의 도장 단차 측정 결과는 레이저 거리 측정기 결과와 비교 및 검증하였다.

2. 협동 로봇 및 비전 시스템

2.1 페인트 인식 및 윤곽선 검출

본 시스템은 Fig. 1과 같이 협동 로봇(Doosan Robotics A0509) 말단부에 Eye-in-hand 방식으로 RGB-depth 카메라(Intel RealSense D435i)를 설치하고 Ubuntu 20. 04 환경 및 ROS 기반으로 운영된다. 협동 로봇과 RGB 카메라는 각각 중앙제어장치와 EtherCAT 및 USB Port로 연결된다. 중앙 제어장치는 협동 로봇 제어 및 영상처리 작업을 수행한다. 사용된 로봇의 관절 변수와 링크 정보는 Fig. 2와 Table 1을 통해 알 수 있다. 협동 로봇의 최종 말단부 위치는 식(1)과 같이 변환 행렬을 이용하여 나타낼 수 있다.

$\[ \left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}{d}_4*s{\alpha }_4*s{\theta }_2+d_6*s{\alpha }_6*\left(-s{\alpha }_4*s{\alpha }_5*s{\theta }_2\right)\\ 0\\ a_3*s{\alpha }_2*s{\theta }_2+d_1\end{array}\right] \]$

(1)

where θ₁ = atan2(y, x), θ₂ = α + β, θ₃ = (θ₂ + θ₅) - Ø,
θ₄ = atan2(sθ₄, cθ₄), θ₅ = θ₂ + θ₃,
θ₆ = atan2(sθ₄, cθ₄), i = 1,2, ..., 6

Fig. 1

Proposed robot system

Fig. 2

Robot collaborative

Table 1

DH parameter of A0509 robot

2.2 비전 시스템

본 연구에서는 대상물의 이미지 특징 추출을 통해 협동 로봇 끝단에 위치한 비전 카메라와 도막 간 거리를 측정하였다. 비주얼 서보잉(Visual Servoing)은 카메라 측정 방향과 도장 도막이 평행하게 위치하도록 로봇 동작 생성 및 제어를 수행하였다. Fig. 3과 같이 Depth 카메라의 On-chip Calibration 기능을 통해 획득한 정보는 cuDNN 및 YOLOv5를 통해 영상 처리하였다[5]. 식(2)와 같이 측정된 도장 이미지 윤곽선의 중심점과 로봇 말단부의 위치 계산을 위한 변환행렬을 구하였다.

$\[ \begin{array}{c}\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=s\left[\begin{array}{ccc}{f}_x& skew \_c& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\\ =K{\left[R|t\right]\left[\begin{array}{cccc}X& Y& Z& 1\end{array}\right]}^T\end{array} \]$

(2)

Fig. 3

Camera on-chip calibration

이미지 픽셀 위치 값 (x, y)에 대해 (f_x, f_y)및 (c_x, c_y)은 이미지 초점거리 및 렌즈 중심점(Principal Point)을 나타낸다. s 및 Skew_c는 Scale Factor 및 수평 왜곡 정도를 나타내는 비대칭 계수이다. 비대칭 계수로 이루어진 K는 카메라 Parameter 행렬, [R|t]는 회전 및 이동(카메라 외부 Parameter) 행렬이다.

3. 도막 두께측정

3.1 도막 인식 및 윤곽선 검출

본 연구에서는 Canny Edge 알고리즘을 이용하여 도장 윤곽선을 감지하고, 객체의 위치, 모양, 크기 등의 중요한 정보를 추출하며 명확한 윤곽선을 검출하였다[6,7]. 제안된 선박 벽체 도장 인식 검출 과정을 Fig. 4와 같이 나타냈다. 협동 로봇 말단부에 장착된 RealSense 카메라를 이용하여 사전에 학습된 데이터를 기반으로 도장을 인식 후, X, Y 좌표와 Depth 정보를 계산한 후, Canny Edge 알고리즘을 통해 인식된 도장 윤곽선을 추출하여 형상을 나타낸다.

Fig. 4

Block diagram of paint thickness measure

3.2 도막 측정

본 연구는 철판 벽체에 도화지(390 × 270 mm)를 설치하여 선박 벽체의 도막 두께 측정을 실험하였다. 우선, Fig. 4처럼 도막 형상의 윤곽선을 인식한 후, 협동 로봇 끝단과 윤곽선 중심점 기준으로 측정 도막 유무에 따른 기본 벽과의 거리 정보를 수집하였다. Fig. 5 와 같이 벽과 로봇의 거리 및 도막과 로봇 거리를 각각 D₁, D₂ 로 정의하고, 최종적으로 도막 두께(D₁ - D₂)로 구한다. 선박 내부 도막 측정은 선체 벽체 철판 위의 도막 두께를 고려하여, 본 연구에서는 철판 위에 도화지를 설치하고, 2-4 mm의 도막 두께를 고려하였다. Fig. 6 와 같이 수평 55 mm, 수직 55 mm 면적에 대해 일정한 간격으로 배치된 총 24개의 검출 지점을 로봇이 지그재그 형태로 이동하면서 도막 두께를 측정한다.

Fig. 5

Paint thickness measure method

Fig. 6

Point position and trajectory

4. 실험

4.2 도장 두께 측정

Fig. 8은 카메라 끝단과 벽 사이 거리에 따른 불규칙하게 도포된 도막 두께를 각각 Depth 카메라와 레이저 거리 측정기를 이용하여 측정한 결과를 비교한 것이다. 가로축의 각 지점은 Fig. 7에서 언급된 로봇 이동 경로 위치를 순서대로 나타낸 것이다.

Fig. 7

Paint recognition experiment

Fig. 8

Comparison of paint thickness measurement

로봇 끝단과 도막 면의 거리가 350 mm일 때, 10번 지점에서 최대 3 mm 오차가 발생하였으며, 8번 지점에서 오차가 없었다. 로봇과 벽면 간의 거리가 다른 조건에 비해 상대적으로 가까워서 작은 측정 평균 오차는 보였으나, 일부 구간에서는 2 mm 오차가 있었다. 로봇 끝단과 도막 면의 거리가 450 mm 일 때는 여러 위치(6, 9, 12번 등)에서 0 mm 오차가 측정되었으나, 2번 및 16번 위치에서 최대 오차가 확인되었다. 여러 구간에서 오차가 없었지만, 측정 평균 오차는 상대적으로 큰 값(0.83 mm)이었다. Fig. 8(c)에서는 17번 지점에서 최대 오차 3 mm가 확인되었으며, 측정 평균 오차(1.83 mm)가 350과 450 mm 거리 조건과 비교하여 측정 지연 결과를 보였다. 따라서, 위치 보정을 위하여 낮은 속도의 로봇 이동 기반의 측정이 필요한 것으로 판단된다.

실험 결과는 측정 거리가 가까우면 오차가 줄어드는 현상을 보였으나, 대부분의 측정 오차가 3 mm 이내를 보였다. 따라서 제안한 방법을 외부 도장 환경에 적용할 경우, 도장 검사에 유용할 것으로 판단되며, 향후 로봇 이동 속도와 높은 카메라 성능은 본 연구 결과를 보완할 수 있는 방법이라고 판단된다.

5. 결론

협동 로봇 및 Eye-in-hand 비전 카메라 기반의 선박 블록 도장 영역 인식 및 두께 측정에 대한 기초 연구를 수행하였다. YOLOv5와 Canny Edge 알고리즘을 활용하여 도장 영역을 인식했으며, 불균일한 도막 단차는 RGB-D 카메라의 거리 정보를 활용하여 구하였다. 측정 정확도 검증을 위해 레이저 거리 측정기 결과와 비교하여 제안한 방법을 검증하였다. 향후, 도장 두께의 정밀 측정을 위해 협동 로봇 기반의 다중 센서를 활용한 접근이 필요한 것으로 판단된다.

Acknowledgments

본 연구는 산업통상자원부 해양모빌리티 스마트페인팅 시스템기술개발(RS-2024-00431769) 및 한국산업기술 진흥원(P0020616, 산업혁신인재성장지원사업)의 지원을 받아 수행됨.

References

• Ryu, H.-D., Han, S. H., (2024), A study on the measurement systems of pre-painting surface roughness through image processing, Journal of the Korean Society of Mechanical Technology, 26(1), 45-52.
• Yun, W- J., Choi, M.-K., Ro, Y.-S., (2010), A study on correlation of dry film thickness with multi-nozzle spray pattern of shop primer, Journal of the Society of Naval Architects of Korea, 47(5), 743-749. [https://doi.org/10.3744/SNAK.2010.47.5.743]
• Ha, J.-M., Kim, G.-W., Lee, K.-T., Oh, M.-J., Kwon, Y.-K., (2022), CNN-based ship fluorescent paint thickness measurement, Korean Journal of Computational Design and Engineering, 27(4), 471-480. [https://doi.org/10.7315/CDE.2022.471]
• Magalhaes, P., Ferreira, N., (2022), Inspection application in an industrial environment with collaborative robots, Automation, 3(2), 258-268. [https://doi.org/10.3390/automation3020013]
• Rahul, M. R., Chiddarwar, S. S., (2023), Integrating virtual twin and deep neural networks for efficient and energy-aware robotic deburring in industry 4.0, International Journal of Precision Engineering and Manufacturing, 24, 1517-1534. [https://doi.org/10.1007/s12541-023-00875-8]
• Rong, W, Li, Z., Zhang, W., Sun, L., (2014), An improved CANNY edge detection algorithm, IEEE International Conference on Mechatronics and Automation, 577-582. [https://doi.org/10.1109/ICMA.2014.6885761]
• Xu, Y., Fang, G., Lev, N., Chen, S., Zou, J. J., (2015), Computer vision technology for seam tracking in robotic GTAW and GMAW, Robotics and Computer-Integrated Manufacturing, 32, 25-36. [https://doi.org/10.1016/j.rcim.2014.09.002]