JKSPE
[ REGULAR ]
Journal of the Korean Society for Precision Engineering - Vol. 41, No. 8, pp.597-605
ISSN: 1225-9071 (Print) 2287-8769 (Online)
Print publication date 01 Aug 2024
Received 17 Feb 2024 Revised 12 Jun 2024 Accepted 24 Jun 2024
DOI: https://doi.org/10.7736/JKSPE.024.018

고정밀 캘리브레이션 기반 단일 스마트폰을 이용한 공조기 벨트의 느슨함 원격 진단

김정민1 ; 김진1 ; 박용화1, #
1KAIST 기계공학과
Remote Diagnosis of Air Handling Unit Belt Looseness using a Smartphone based on High-accurate Calibration
Jeongmin Kim1 ; Jin Kim1 ; Yong-Hwa Park1, #
1Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology

Correspondence to: #E-mail: yhpark@kaist.ac.kr, TEL: +82-42-350-3235

Copyright © The Korean Society for Precision Engineering
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

This paper was presented at KSPE Autumn Conference in 2023

Abstract

Belt-pulley looseness is a crucial factor in ensuring the safe operation of machinery used in industrial applications, such as compressors and fans. Traditionally, belt looseness has been inspected using contact-based current and vibration sensors. However, these methods are time-consuming and require manual attachment of the sensors. In order to overcome the limitations of these traditional methods, we propose a remote diagnosis method for detecting belt looseness using a smartphone. By utilizing a four-mirror system, the smartphone can construct a stereo system that enables 3D reconstruction of the object. This allows us to reconstruct the 3D trajectory of the belt and diagnose the level of looseness. To further enhance the accuracy of our proposed system, we have developed a calibration algorithm specifically designed for the four-mirror system. In our actual experiment, we successfully diagnosed four levels of belt looseness. As the level of looseness increased, we observed a curved shape in the 3D trajectory of the belt, along with noticeable quantitative differences. To quantitatively analyze these differences, we introduced a measure called the residual, which reflects the curvilinearity of the 3D trajectory. Our findings confirmed a significant correlation between the residual and the level of belt looseness.

Keywords:

Machine health monitoring, Belt looseness, Stereo, Four-mirror system, Camera calibration

키워드:

기계 상태 모니터링, 벨트 느슨함, 스테레오, Four-mirror 시스템, 카메라 캘리브레이션

1. 서론

산업 현장에서 다양한 기계요소와 부품들은 하나의 장비를 이루어 제품 생산 및 공정의 핵심적인 역할을 수행한다. 이러한 기계 장비의 예기치 못한 결함은 장비 고장으로 이어지며 이는 상당한 경제적 손실과 시간적 낭비를 초래한다. 따라서 이러한 심각한 결함이 발생하기 전에 기계 시스템의 결함을 사전에 예지하는 예지 보전 (Predictive Maintenance, PdM)은 활발히 연구되고 있다[1-3]. 본 연구에서는 여러 가지 기계 시스템 중 벨트-풀리 시스템에 집중하고자 한다. 벨트-풀리 시스템은 컴프레서, 펌프, 팬 등 다양한 산업 현장에서 사용되는 핵심적인 기계요소 중 하나이다. 특히 벨트-풀리 시스템의 느슨함(Looseness)은 기계 결함을 예지하는 중요한 인자 중 하나이다. 벨트가 너무 느슨하면 벨트의 RPM과 토크가 제대로 전달되지 않으며, 반대로 벨트가 너무 조여져 있다면 장비 및 장치에 과도한 힘이 가해져 결함이 발생할 수 있다[4]. 따라서 안전한 장비 가동을 위해서는 벨트 느슨함이 정기적으로 모니터링 되어야 한다.

벨트-풀리의 모니터링을 위해 기존 방법들은 전류 센서[5-8]나 진동 센서[9-12]를 이용한다. 하지만 이 방식들은 벨트-풀리시스템에 센서들을 직접 부착해야 하며 이는 시스템에 원치 않는 거동 및 응력을 줄 수 있다[13,14]. 또한 센서들을 일일이 부착하는 작업은 시간이 오래 걸리고 매우 번거로운 작업이다.

이러한 접촉식 방법들의 한계점을 극복하기 위해, 본 논문에서는 스마트폰 단 한 대를 이용한 벨트 느슨함 원격 진단 방법을 제안하고자 한다. 이를 위해서는 단 한 대의 카메라만으로 3차원 복원을 할 수 있게 해주는 Four-mirror 시스템이 필수적이다. Four-mirror 시스템은 두 그룹의 거울로 구성되어 물체로부터 나오는 빛의 경로를 좌우로 분할한 후 다시 카메라로 수렴하게끔 한다. 이는 카메라에서 물체를 왼쪽, 오른쪽에서 보는 효과를 주어 가상의 스테레오 시스템을 만들어 물체의 3차원 복원을 가능하게 한다. 최종적으로, 가동 중인 벨트의 3차원 경로를 추적하여 벨트의 느슨함 정도를 구별하고자 한다.

본 논문은 3차원 경로를 이용한 벨트 느슨함 진단 방법 외에도 Four-mirror 시스템에 특화된 캘리브레이션 알고리즘 또한 추가적으로 제안한다. 카메라 파라미터들을 추정하는 카메라 캘리브레이션 알고리즘 중 가장 보편적으로 사용되는 방법은 Zhang 방법[20]이다. 이는 체커보드를 촬영한 후, 사전에 알고 있는 체커보드의 길이와 이미지 내에서 인식된 체커보드 격자점 간의 관계식을 이용하여 카메라의 파라미터들을 추정한다. 하지만 이 방법은 제안된 Four-mirror 시스템에 사용하기에는 다음과 같은 한계점을 지니고 있다. 1) Four-mirror 시스템으로 촬영된 왼쪽과 오른쪽 이미지는 사실상 스마트폰 한대로 촬영했음에도 불구하고, 각 가상의 왼쪽/오른쪽 카메라의 파라미터들이 다르다. 2) Four-mirror 시스템에 의해 이미지가 절반으로 나뉘기 때문에 각 왼쪽/오른쪽 이미지에서 체커보드는 이미지의 절반 영역에 해당하는 영역에만 위치한다. 그러므로 가상의 카메라에 대해 해당 카메라로만 얻은 이미지를 이용하여 캘리브레이션을 한다면 이미지의 전체 영역을 반영하지 못하기 때문에 정확한 캘리브레이션이 수행되지 않는다. 이러한 한계점을 극복하기 위해 제안 알고리즘에서는 왼쪽과 오른쪽 가상 카메라 파라미터를 동일하게 두었으며, 이미지 전체 영역을 반영하기 위해서 스테레오 시스템의 관계식을 이용해 파라미터들을 최적화하였다.

실제 공조기 벨트에 대해서 스마트폰(삼성 Galaxy S22+)을 이용하여 느슨함 원격 진단을 수행하였다. 총 4가지 느슨함 상태의 벨트에 대한 경로를 3차원 복원한 후 비교 분석을 진행하였다. 또한 제안하는 캘리브레이션의 3차원 복원 정확도 향상을 보이기 위해 캘리브레이션 과정에서 추가적인 실험을 수행하였다.

본 논문은 다음과 같이 구성되었다. 2절에서는 본 연구에 필요한 배경 지식을 설명한다. 3절에서는 스마트폰을 이용한 벨트 느슨함 원격 진단 방법 및 Four-mirror 시스템에 특화된 캘리브레이션 방법을 제안한다. 4절에서는 실제 실험을 수행하고 결과를 분석한다. 5절에서는 결론을 제시한다.


2. 이론적 배경

2.1 Four-mirror 시스템

Four-mirror 시스템의 구성도가 Fig. 1에 나타나 있다. Four-mirror시스템은 크게 두 가지의 그룹으로 나뉘어져 있으며, 물체로부터 나온 빛을 왼쪽과 오른쪽으로 나눈 후 다시 카메라로 모으는 역할을 한다. 따라서 한 대의 카메라로부터 얻은 이미지에는 왼쪽과 오른쪽에서 바라본 물체의 모습이 찍히게 된다. 이는 물체의 3차원 복원을 가능하게 하는 스테레오와 동일한 효과를 준다.

Fig. 1

Schematic of four-mirror system

많은 연구들에서 Four-mirror 시스템의 거울 간 각도, 거울과 카메라 간 거리와 같은 매개변수를 분석하고 이를 통해 3차원 정확도를 향상시키는 연구를 진행해왔다[15,16]. 또한, 이론적 분석뿐 아니라 응용 분야에서도 연구가 진행되었다. Mark[17]는 Four-mirror 시스템을 이용하여 충격 쇼크 파동에 의한 면 외(Out-of-Plane) 변형을 측정하였다. 그리고 Kaiyu[18]는 인장 시험에서 0.1 mm 미만의 3D 형상과 변위를 측정하였다. 정적 측정뿐 아니라 진동하는 물체에 대한 동적 측정도 수행되었다. Liping[19]는 직사각형 외팔보의 고유 진동수와 모드 형상을 성공적으로 추정하였다.

위에서 언급한 대로, Four-mirror 시스템의 이론 및 응용 측면에 대한 많은 연구들이 있었다. 그러나 본 논문에서 제시하는 Four-mirror 시스템을 활용한 벨트 느슨함의 원격 모니터링 방법은 처음으로 제안하는 응용 예시이며, 벨트의 느슨함을 기존의 전류/진동 센서가 아닌 벨트의 3차원 경로로 분석할 수 있다는 방법론 자체를 제안한다.

2.2 카메라 캘리브레이션

스테레오 시스템에서 3차원 복원을 하기 위해서는 카메라 파라미터들을 추정하는 카메라 캘리브레이션이 필수적이다. 카메라 파라미터들은 크게 내부 파라미터와 외부 파라미터 두 가지로 나뉠 수 있다. 내부 파라미터는 카메라의 고유한 특성에 해당하며, 내부 행렬 K와 왜곡 파라미터 k를 포함한다. 내부 행렬 K는 다음과 같이 구성된다.

K=fxsu00fyv0001(1) 

여기서 fx, fy 는 각각 이미지의 x, y좌표축에 대한 초점거리이며, s는 skew 파라미터, (u0, v0) 는 주점이다. 외부 파라미터는 카메라의 위치와 자세와 관련된 파라미터이다. 즉 물체 기준으로 카메라가 어떤 방향과 위치에 놓여 있는지를 의미하는 것으로서, 회전 행렬 R3X3과 병진 행렬 T3X1을 포함한다.

이러한 파라미터들을 추정하기 위해 Zhang[20]은 체커보드를 이용한 캘리브레이션 방법을 제안했다. Zhang 방법의 개략도는 Fig. 2에 그려져 있다. 카메라를 놓고, 격자 길이를 미리 알고 있는 체커보드를 여러 차례 촬영한다. 그 후, 이미지에서 인식된 체커보드의 격자점 좌표 xd와 이에 대응되는 격자점의 체커보드 좌상단 원점 기준 3D 좌표 X는 다음과 같은 관계식을 만족해야 한다.

Fig. 2

Schematic of Zhang’s calibration

xideal =KRTX(2) 
xd=gxideal ,k(3) 

xideal은 물체가 카메라 이미지에 투영되는, 왜곡이 고려되지 않은 이상적인 투영 점이다. g는 왜곡 파라미터를 고려한 비선형 함수이며[20], 이를 통해 렌즈 왜곡의 효과를 모델링할 수 있다. 이상적으로는 이미지에서 인식된 좌표(xd)와 카메라 파라미터로 투영(Projection)된 좌표(g(xideal,k))는 동일해야 하나 추정 오차, 실제 카메라와 핀홀 모델 간의 차이 등으로 인하여 두 좌표 간에는 차이가 존재하며 이를 재투영 오차(Reprojection Error)로 정의한다. 최종적으로는 재투영 오차가 최소화되게끔 카메라 파라미터들을 최적화하여 파라미터 값들을 추정한다. [21] 논문에 자세한 방법이 소개되어 있다.

2.3 스테레오 시스템에서의 3차원 복원법

스테레오 시스템의 좌우 이미지로 3차원 복원을 하는 방법은 다음과 같다. 복원하고자 하는 물체를 스테레오 시스템으로 촬영했을 때, 왼쪽 이미지 및 오른쪽 이미지 내에서 해당 물체의 이미지 좌표 x~ld, x~rd는 내부 파라미터와 식(3)을 사용해 다음과 같이 왜곡 보정을 수행해준다.

x~l=g-1x~ld,kl,Kl(4) 
x~r=g-1x~rd,kr,Kr(5) 

이후 수식에서 밑첨자 lr은 각각 왼쪽과 오른쪽을 의미한다. x~l, x~r 은 왜곡 보정된 이미지 좌표이다. 왜곡 보정된 이미지 좌표는 식(2)를 변형하여 다음과 같이 나타낼 수 있다.

x~l=KlI0Xl=PlXl(6) 
x~r=KrRrel Trel Xl=PrXl(7) 

Xl은 왼쪽 카메라 좌표계에서 관측된 물체의 3차원 좌표이며 Rrel, Trel 는 왼쪽 카메라 좌표계에서 관측된 물체의 3차원 좌표 Xl을 오른쪽 카메라 좌표계로 변환하는 행렬이다. 그리고 Pl, Pr 은 카메라의 투영 행렬이다. 캘리브레이션 과정을 통해 카메라의 내부 파라미터(k, K)와 외부 파라미터(Rrel, Trel)는 주어진 값이고, 물체의 이미지 좌표 x~l, x~r 또한 주어진 값이다. 따라서 식(6)식(7)에서 유일하게 미지수에 해당하는 3차원 좌표 XL은 Levenberg-Marquardt 방법을 통해 최적해를 구할 수 있다. 자세한 사항은 [22]에 소개되어 있다.


3. 스마트폰 기반 벨트 느슨함 원격 진단 방법

본 논문에서 제안하는 방법의 전체 시스템 구성은 Fig. 3과 같다. Four-mirror 시스템과 스마트폰을 벨트 앞에 위치하고, 다음과 같은 절차를 통해 벨트 느슨함을 진단할 수 있다: 1) 캘리브레이션 2) 특징점 인식 3) 3차원 복원 및 고장 진단

Fig. 3

Belt looseness remote monitoring system

3.1 Four-mirror 시스템 특화 캘리브레이션

Four-mirror 시스템의 캘리브레이션을 위해 Four-mirror 시스템 앞에 놓인 스마트폰으로 체커보드를 Fig. 4처럼 수회 촬영한다. 그 후, 모든 이미지들의 체커보드 격자점들을 인식하고 인식된 격자점의 이미지 좌표와 해당 격자점의 3차원 좌표의 관계를 이용하여 캘리브레이션을 수행한다. 캘리브레이션을 위한 체커보드 이미지 예시가 Fig. 5에 나타나 있다.

Fig. 4

Calibration step

Fig. 5

Feature point detection step

본 연구에서는 Zhang 방법의 한계점을 극복하기 위해 Four-mirror시스템에 특화된 캘리브레이션 방법을 제안한다. 제안된 캘리브레이션에서는 왼쪽 카메라와 오른쪽 카메라의 내부 파라미터를 K, k로 동일하게 설정하며 이에 따른 각 카메라에 대한 식(3)은 다음과 같다.

x^ld=gK,k,Rl,tl,X(8) 
x^rd=gK,k,Rr,tr,X(9) 

또한, 이미지 전체 영역의 정보를 담기 위해, 왼쪽과 오른쪽의 가상 카메라의 파라미터들을 독립적으로 추정하지 않고 스테레오 구성으로 캘리브레이션을 수행하였다. Fig. 5에서 보이듯이, 체커보드는 스마트폰 이미지의 왼쪽과 오른쪽에서 동시에 나타난다. 그러므로 스테레오 구성을 통해 카메라 캘리브레이션을 수행한다면 스마트폰 이미지의 왼쪽 및 오른쪽 부분의 정보를 모두 사용하게 되어 이미지 전체 영역의 정보를 반영할 수 있다. 스테레오 구성을 모델링하기 위해 왼쪽 및 오른쪽 카메라와 체커보드 간 외부 파라미터는 왼쪽 및 오른쪽 카메라간의 상대적인 자세인 Rrel, Trel로 나타낼 수 있다.

Rr=RrelRlT(10) 
Trel =Tr-RrRlTTl(11) 

제안된 캘리브레이션 방법에서 추정해야 하는 카메라 파라미터는 다음과 같다.

Ω=K,k,Ri,Ti,Rrel,Trel(12) 

여기서 Ri, Tii번째 체커보드의 왼쪽 카메라에 대한 외부 파라미터이다. 즉, 오른쪽 카메라에 대한 체커보드의 외부 파라미터는 식(10)식(11)을 통해 계산되는 것이며 최적화 파라미터에 포함되지 않는다. 최소화해야 하는 목적 함수는 다음과 같다.

errrep =i=1Nj=1Mx^i,j,ld-gK,k,Ri,ti,X2+x^i,j,rd-gK,k,Ri,ti,Rrel,Trel ,X2(13) 

여기서 N은 체커보드 이미지 장 수이며 M은 체커보드 격자점의 총 개수이다. x^i,j,ldx^i,j,rd은 각각 왼쪽과 오른쪽 이미지에서 인식된 i번째 체커보드 이미지의 j번째 격자점의 좌표이다.

3.2 특징점 인식

벨트의 3차원 경로를 추적할 점을 인식하기 위해 작은 마커를 벨트에 Fig. 6처럼 부착한다. 작은 체커보드가 마커로서 사용되었으며, 이는 MATLAB의 detectCheckerboardPoints라는 함수를 통해 쉽게 인식 가능하다.

Fig. 6

Example of smartphone image for calibration. Red points are detected checkerboard points

3.3 3차원 복원 및 벨트 느슨함 진단

벨트를 구동하고 스마트폰으로 동영상 촬영한다. 동영상의 각 프레임에서 마커를 인식한다. 3.1절에서 추정한 카메라 파라미터들을 이용하여 인식된 마커 포인트의 3차원 경로를 Fig. 7처럼 복원한다. 이 과정을 서로 다른 느슨함 정도를 가진 벨트에 대해서 각각 수행한 후, 벨트 느슨함 정도에 따른 3차원 경로를 비교, 분석한다.

Fig. 7

3D reconstruction and diagnosis


4. 실험 및 결과

실제 공조기 벨트-풀리 시스템에 대하여 벨트 느슨함을 진단하기 위한 실험이 수행되었다. 스마트폰은 1,920 × 1,080의 화질로 240 fps의 비디오 촬영이 가능한 삼성 Galaxy S22+를 사용하였다. Four-mirror 시스템의 거울은 95%의 반사율을 가지고 있는 전반사 거울을 사용하였다. 그리고 캘리브레이션을 위해 4개의 행, 5개의 열을 가지고 있는 10 mm 그리드 크기의 체커보드를 사용하였으며 총 20회 촬영하였다. Zhang 방법과 제안 방법 간의 3차원 정확도를 비교 분석하기 위해 5장의 체커보드 이미지를 추가적으로 촬영하였다. 캘리브레이션 후, 최종 실험에는 풀리를 수평 방향으로 평행 이동하여 벨트에 느슨함을 인가하였다. 정상 상태를 대비하여 평행 이동한 거리를 느슨함 심각도로 정의하였으며(Fig. 8) 실험에는 0 mm의 정상 상태를 포함하여 3, 7, 11 mm의 총 4가지 상태 벨트에 대해서 느슨함을 진단하였다. 각 느슨함 심각도에서 벨트는 2 Hz의 주파수로 구동되었고, 각 상태에 3차원 경로가 복원되었다.

Fig. 8

Definition of looseness level

4.1 캘리브레이션 결과

Zhang 방법과 제안 방법을 통해 추정된 카메라 파라미터가 Table 1에 나열되어 있다. Table 1의 Zhang 방법에 의한 카메라 파라미터 추정 값을 확인해보면, 왼쪽 카메라와 오른쪽 카메라 파라미터 값이 모두 비슷하게 추정됨을 확인할 수 있다. 이는 Four-mirror 시스템이 결국 한 대의 스마트폰으로 촬영한 것이기 때문이다. 그러나 앞에서 언급했듯이, 왼쪽 및 오른쪽 카메라 파라미터가 완전히 동일 값으로 추정되진 않았다. 반면, 제안 방법의 카메라 파라미터 값들을 확인해보면, 최적화 과정에서 왼쪽 및 오른쪽 카메라 파라미터 값들을 동일하게 설정하였기에 같은 값으로 추정되었다. 또한, 주목할 점은 주점(Principal Point)이다. 카메라의 렌즈 광축이 이미지 평면에 지나는 점을 뜻하는 주점은 대개 이미지 정중앙 근처에 놓이게 된다. 스마트폰의 이미지 크기가 1,920 × 1,080인 것을 감안했을 때, Zhang 방법과 제안 방법의 주점 값을 비교해보면 제안방법의 주점 값이 이미지 정중앙보다 더욱 가깝기 때문에 Zhang 방법보다 합리적인 캘리브레이션을 수행했다고 볼 수 있다.

Results of estimated intrinsic parameters

제안된 캘리브레이션 알고리즘의 궁극적인 목표인 3차원 정확도의 향상을 확인하기 위하여, Fig. 9와 같이 추가로 촬영한 체커보드 5개를 3차원 복원하였다. 3차원 복원 오차는 복원된 체커보드와 사전에 알고 있는 체커보드의 좌표(그리드 10 mm)를 정합한 후, 각 좌표 간의 차이로 정의하였다. 3차원 복원 오차에 대한 박스 플롯이 Fig. 10에 나타나 있다. 제안 방법의 알고리즘은 Zhang 방법 대비, 3차원 복원 오차의 평균 값을 0.091에서 0.077 mm로 15.38% 개선하였으며, 표준 편차의 경우 0.049에서 0.036 mm로 26.53% 개선하였다. 최종적으로 제안 방법이 Zhang 방법보다 더 정확하게 3차원 복원을 수행한다고 결론지을 수 있다.

Fig. 9

3D reconstruction of checkerboards

Fig. 10

Boxplot of 3D reconstruction error (mm)

4.2 벨트의 3차원 경로 복원 및 느슨함 진단 결과

총 4가지 느슨함 상태의 벨트를 3차원 복원하였다: 0 (정상), 3, 7, 11.3 mm 느슨함 상태의 벨트 및 마커에 대한 이미지 예시가 Fig. 11에 나타나있다. 가운데를 기준으로 동일한 마커가 왼쪽과 오른쪽에 동시에 촬영됨을 확인할 수 있고, 인식된 체커보드점이 초록색으로 표시되었다. 인식된 점들을 추정된 카메라 파라미터들을 이용하여 3차원 복원한 결과가 Fig. 13에 나타나있다. 검은색 선이 정상 상태의 벨트 3차원 경로이며 파란색 선이 느슨함 상태가 가장 심각한 벨트의 3차원 경로이다. 정상상태에서 느슨함이 심해질수록 3차원 경로는 곡선성을 띄게 된다. 따라서 느슨함 정도에 따라 3차원 경로는 정성적으로 확연한 차이가 있음을 확인할 수 있다.

Fig. 11

Example of the smartphone image

정량적으로도 분석하기 위해, 3차원 경로의 직선성을 수치화한 편차 R을 다음과 같이 계산한다 (Fig. 12).

Fig. 12

Residual R calculation

Fig. 13

3D trajectories of belt with different looseness level

R=1Ni=1Ndi(14) 

여기서 N은 벨트를 구성하는 점의 개수이며, dii번째 3차원 점과 3차원 벨트 경로의 직선회귀선 l 간 거리이다. 직선회귀선 l은 3차원 경로를 직선으로 피팅한 결과이다. 4가지 느슨함 상태의 벨트에 대한 편차 RTable 2에 나열되어 있다. 느슨함 심각도가 증가할수록 편차 R 또한 증가하는 경향을 보인다. 이는 느슨함 심각도를 정량적으로 수치화할 수 있다는 의미로, 벨트가 극심하게 느슨해지기 전에 편차 R 값을 통해 결함 중간 단계에서 미리 예지할 수 있음을 보여준다. 궁극적으로, 제안된 스마트폰 기반의 벨트 느슨함 원격 진단법을 통해 벨트 느슨함 수준을 정성적뿐만 아니라 정량적으로도 구분할 수 있음을 확인할 수 있다.

Residual of the 3D trajectories with different looseness level


5. 결론

본 연구에서는 스마트폰과 Four-mirror 시스템을 이용한 공조기 벨트의 느슨함 원격 진단 방법을 제안하였다. Four-mirror 시스템을 통해 한 대의 스마트폰으로 벨트의 3차원 경로를 복원하고 이를 바탕으로 벨트의 느슨함 상태를 진단했다. 특히, 3차원 복원 정확도를 향상시키기 위해 Four-mirror 시스템에 특화된 캘리브레이션 알고리즘 또한 제안하였다. 단일 카메라라는 특성을 이용해 왼쪽 및 오른쪽 카메라 파라미터를 동일시하게 설정하였으며, 스마트폰 이미지 전체 영역의 정보를 반영하기 위하여 최적화 목적함수를 스테레오 구성을 통한 재투영 오차로 설정하였다. 이를 통해 보편적인 캘리브레이션 알고리즘과 비교 결과, 3차원 오차 평균이 15.34% 개선되었다. 제안된 시스템 및 캘리브레이션 알고리즘을 통해 실제 벨트의 느슨함 상태 진단에 대한 실험을 수행하였다. 그 결과 느슨함이 심각해질수록 벨트의 3차원 경로가 정성적으로 곡선성을 띄는 것을 확인했을 뿐만 아니라, 정량적으로도 경로의 직선성을 수치화한 편차 R이 심각도에 따라 증가하는 경향을 보았다. 이는 제안된 방법이 접촉식 기반의 기존 방법 대신 원격으로 추정한 벨트의 3차원 경로만으로도 벨트의 심각도를 정량적으로 평가할 수 있음을 보여준다. 이에 따라 본 연구는 산업 현장에서 벨트의 상태를 실시간으로 모니터링하고 유지 보수 효율을 크게 향상시킬 수 있는 가능성을 제시하며, 향후에는 핸드폰에 부착할 수 있는 Four-mirror 시스템을 개발 및 도입한다면 더욱더 간편하고 효율적인 벨트 느슨함 진단 방법이 기대되며 벨트 느슨함뿐 아니라 다양한 기계 시스템에 해당 방식을 도입하여 그 유용성을 검증할 예정이다.

NOMENCLATURE

f : Focal Length
s : Skew Parameter
(u0, v0) : Principal Point
K : Intrinsic Matrix
R : Rotation Matrix
T : Translation Matrix
X : 3D Homogeneous Coordinate of the Object
xideal : Ideal Projected Image Point
xd : Distorted Projected Image Point
k : Radial Distortion Parameters
g : Nonlinear Distortion Function

Acknowledgments

본 연구는 대한민국 정부(산업통상자원부 및 방위사업청) 재원으로 민군협력진흥원에서 수행하는 민군기술협력사업의 연구비 지원으로 수행되었습니다(No. 23-SN-CV-04).

References

  • Achouch, M., Dimitrova, M., Ziane, K., Sattarpanah Karganroudi, S., Dhouib, R., Ibrahim, H., Adda, M., (2022), On predictive maintenance in industry 4.0: overview, models, and challenges, Applied Sciences, 12(16), 8081. [https://doi.org/10.3390/app12168081]
  • Tiddens, W., Braaksma, J., Tinga, T., (2022), Exploring predictive maintenance applications in industry, Journal of Quality in Maintenance Engineering, 28(1), 68-85. [https://doi.org/10.1108/JQME-05-2020-0029]
  • Nunes, P., Santos, J., Rocha, E., (2023), Challenges in predictive maintenance - A review, CIRP Journal of Manufacturing Science and Technology, 40, 53-67. [https://doi.org/10.1016/j.cirpj.2022.11.004]
  • Fournier, E., Picot, A., Régnier, J., Andrieux, C., Saint-Michel, J., Maussion, P., (2015), Effects of transmission belt looseness on electrical and mechanical measurements of an induction motor, Proceedings of the IEEE 10th International Symposium on Diagnostics for Electrical Machines, Power Electronics and Drives (SDEMPED), 259-265. [https://doi.org/10.1109/DEMPED.2015.7303699]
  • Picot, A., Fournier, E., Régnier, J., TientcheuYamdeu, M., Andréjak, J. M., Maussion, P., (2017), Statistic-based method to monitor belt transmission looseness through motor phase currents, IEEE Transactions on Industrial Informatics, 13(3), 1332-1340. [https://doi.org/10.1109/TII.2017.2661317]
  • Pierleoni, P., Belli, A., Palma, L., Sabbatini, L., (2021), Diagnosis and prognosis of a cartesian robot’s drive belt looseness, Proceedings of the IEEE International Conference on Internet of Things and Intelligence System (IoTaIS), 172-176. [https://doi.org/10.1109/IoTaIS50849.2021.9359712]
  • Kang, T.-J., Yang, C., Park, Y., Hyun, D., Lee, S. B., Teska, M., (2018), Electrical monitoring of mechanical defects in induction motor-driven v-belt-pulley speed reduction couplings, IEEE Transactions on Industry Applications, 54(3), 2255-2264. [https://doi.org/10.1109/TIA.2018.2805840]
  • Fournier, E., Picot, A., Régnier, J., TientcheuYamdeu, M., Andréjak, J.-M., Maussion, P., (2016), Transmission belt looseness detection through a variable speed drive, Proceedings of the IECON - 42nd Annual Conference of the IEEE Industrial Electronics Society, 1542-1547. [https://doi.org/10.1109/IECON.2016.7793528]
  • Hassan, A. R., Ali, K. M., (2018), Dignosis of pulley-belt system faults using vibration analysis technique, Journal of University of Babylon for Engineering Sciences, 26(2), 167-180.
  • Nabhan, A., El-Sharkawy, M. R., Rashed, A., (2019), Monitoring of belt-drive defects using the vibration signals and simulation models, International Journal of Aerospace and Mechanical Engineering, 13(5), 332-339.
  • Krot, P., Korennoi, V., Zimroz, R., (2020), Vibration-based diagnostics of radial clearances and bolts loosening in the bearing supports of the heavy-duty gearboxes, Sensors, 20(24), 7284. [https://doi.org/10.3390/s20247284]
  • Baqer, I. A., Jaber, A. A., Soud, W. A., (2023), Prediction of the belt drive contamination status based on vibration analysis and artificial neural network, Journal of Intelligent & Fuzzy Systems, 45(4), 6629-6643. [https://doi.org/10.3233/JIFS-222438]
  • Eigenberg, R. A., Hahn, G. L., Nienaber, J. A., Brown-Brandl, T. M., Spiers, D. E., (2000), Development of a new respiration rate monitor for cattle, Transactions of the American Society of Agricultural and Biological Engineers, 43(3), 723-728. [https://doi.org/10.13031/2013.2755]
  • Milan, H. F. M., Maia, A. S. C., Gebremedhin, K. G., (2016), Device for measuring respiration rate of cattle under field conditions, Journal of Animal Science, 94(12), 5434-5438. [https://doi.org/10.2527/jas.2016-0904]
  • Yu, L., Pan, B., (2016), Structure parameter analysis and uncertainty evaluation for single-camera stereo-digital image correlation with a four-mirror adapter, Applied Optics, 55(25), 6936-6946. [https://doi.org/10.1364/AO.55.006936]
  • Luo, H., Yu, L., Pan, B., (2021), Design and validation of a demand-oriented single-camera stereo-DIC system with a fourmirror adapter, Measurement, 186, 110083, [https://doi.org/10.1016/j.measurement.2021.110083]
  • Pankow, M., Justusson, B., Waas, A. M., (2010), Threedimensional digital image correlation technique using single highspeed camera for measuring large out-of-plane displacements at high framing rates, Applied Optics, 49(17), 3418-3427. [https://doi.org/10.1364/AO.49.003418]
  • Zhu, K., Pan, B., (2022), Panoramic/Dual-surface digital image correlation measurement using a single camera, Sensors, 22(9), 3266. [https://doi.org/10.3390/s22093266]
  • Yu, L., Pan, B., (2017), Single-camera high-speed stereo-digital image correlation for full-field vibration measurement, Mechanical Systems and Signal Processing, 94, 374-383. [https://doi.org/10.1016/j.ymssp.2017.03.008]
  • Zhang, Z., (2000), A flexible new technique for camera calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11), 1330-1334. [https://doi.org/10.1109/34.888718]
  • Burger, W., (2016), Zhang’s camera calibration algorithm: indepth tutorial and implementation, (Report No. HGB16-05), University of Applied Sciences Upper Austria. https://www.researchgate.net/profile/Wilhelm-Burger/publication/303233579
  • Hartley, R., Zisserman, A., (2003), Multiple view geometry in computer vision, Cambridge University Press. [https://doi.org/10.1017/CBO9780511811685]
Jeongmin Kim

Ph.D. candidate in the Department of Mechanical Engineering, KAIST. His research interest is Stereo and camera calibration.

E-mail: jmink0304@kaist.ac.kr

Jin Kim

M.S. candidate in the Robotics Program, KAIST. His research interest is robot vision and SLAM.

E-mail: jinkim@kaist.ac.kr

Yong-Hwa Park

Professor in the Department of Mechanical Engineering, KAIST. He received BS, MS, and PhD in Mechanical Engineering from KAIST in 1991, 1993, and 1999, respectively. In 2000-2003, he joined Department of Aerospace Sciences in University of Colorado at Boulder as a research associate. In 2003-2016, he worked for Samsung Electronics in Visual Display Division and Samsung Advanced Institute of Technology (SAIT) as a Research Master in the field of micro-optical systems with applications to 3D imaging and display systems. From 2016, he joined to KAIST as an associate professor of NOVIC+ (Noise & Vibration Control Plus) at the Department of Mechanical Engineering devoting to researches on vibration, acoustics, 3D vision sensors and Deep Learning-based condition monitoring and health sensors. His research fields include structural vibration, condition monitoring; auditory intelligence; human sound and vibration; cardiovascular health monitoring; and 3D LiDAR sensors. He works as a conference chair of MOEMS and miniaturized systems in SPIE Photonics West since 2013. He is a board member of KSME, KSNVE, KSPE, and SPIE.

E-mail: yhpark@kaist.ac.kr

Fig. 1

Fig. 1
Schematic of four-mirror system

Fig. 2

Fig. 2
Schematic of Zhang’s calibration

Fig. 3

Fig. 3
Belt looseness remote monitoring system

Fig. 4

Fig. 4
Calibration step

Fig. 5

Fig. 5
Feature point detection step

Fig. 6

Fig. 6
Example of smartphone image for calibration. Red points are detected checkerboard points

Fig. 7

Fig. 7
3D reconstruction and diagnosis

Fig. 8

Fig. 8
Definition of looseness level

Fig. 9

Fig. 9
3D reconstruction of checkerboards

Fig. 10

Fig. 10
Boxplot of 3D reconstruction error (mm)

Fig. 11

Fig. 11
Example of the smartphone image

Fig. 12

Fig. 12
Residual R calculation

Fig. 13

Fig. 13
3D trajectories of belt with different looseness level

Table 1

Results of estimated intrinsic parameters

Estimated intrinsic parameters
Focal length Principal point Distortion parameter
fx fy u0 v0 k1 k2
Zhang Left 1,324.08 1,290.65 837.76 578.77 0.022 -0.083
Right 1,348.99 1,341.78 957.30 563.78 0.049 -0.059
Proposed Left 1,335.66 1,332.72 953.56 553.01 0.032 -0.047
Right 1,335.66 1,332.72 953.56 553.01 0.032 -0.047

Table 2

Residual of the 3D trajectories with different looseness level

Looseness level (mm)
0(normal) 3 7 11
Residual R 0.13 0.39 1.20 1.45