JKSPE
[ REGULAR ]
Journal of the Korean Society for Precision Engineering - Vol. 41, No. 10, pp.807-812
ISSN: 1225-9071 (Print) 2287-8769 (Online)
Print publication date 01 Oct 2024
Received 24 Jun 2024 Revised 04 Aug 2024 Accepted 08 Aug 2024
DOI: https://doi.org/10.7736/JKSPE.024.075

웨이퍼 이송 로봇의 심층학습과 진동신호 기반 정렬 유격 이상 진단 시스템

홍수빈1 ; 김혜진1 ; 이영대1 ; 문찬우2, #
1㈜나인벨
2국민대학교 전자공학부
A Misalignment Diagnosis System for Wafer Transfer Robot based on Deep Learning and Vibration Signal
Su-bin Hong1 ; Hye-jin Kim1 ; Young-dae Lee1 ; Chanwoo Moon2, #
1Ninebell Co., Ltd.
2School of Electrical Engineering, Kookmin University

Correspondence to: #E-mail: mcwnt@kookmin.ac.kr, TEL: +82-2-910-4779

Copyright © The Korean Society for Precision Engineering
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

In the semiconductor manufacturing industry, efficient operation of wafer transfer robots has a direct impact on productivity and product quality. Ball screw misalignment anomalies are a critical factor affecting precision transport of robots. Early diagnosis of these anomalies is essential to maintaining system efficiency. This study proposed a method to effectively diagnose ball screw misalignment anomalies using 1D-CNN and 2D-CNN models. This method mainly uses binary classification to distinguish between normal and abnormal states. Additionally, explainable artificial intelligence (XAI) technology was applied to interpret diagnostic decisions of the two deep learning models, allowing users to convince prediction results of the AI model. This study was based on data collected through acceleration sensors and torque sensors. It compared accuracies of 1D-CNN and 2DCNN models. It presents a method to explain the model's predictions through XAI. Experimental results showed that the proposed method could diagnose ball screw misalignment anomalies with high accuracy. This is expected to contribute to the establishment of reliable abnormality diagnosis and preventive maintenance strategies in industrial sites.

Keywords:

Wafer transfer robot, Deep learning, Fault diagnosis, Ball screw misalignment, Convolutional neural network, Explainable artificial intelligence

키워드:

웨이퍼 이송 로봇, 심층학습, 이상 진단, 볼 스크류 유격 이상, 합성곱 신경망, 설명 가능한 인공지능

1. 서론

웨이퍼 이송 로봇은 반도체 제조 공정의 핵심 장치로서 중요한 역할을 수행한다. 반도체 웨이퍼의 이송은 높은 수준의 정밀도와 정숙성을 요구하는데, 이러한 로봇은 사용 시간이 길어질수록 고장이 발생할 가능성이 증가하며, 특히 볼 스크류의 정렬유격 이상은 진동과 소음을 유발하여 전체 생산 장비의 성능 저하를 초래할 수 있다. 볼 스크류의 유격 이상은 로봇의 정밀도에 직접적인 영향을 미치므로, 이를 효과적으로 진단하는 것은 중요하다. 지금까지는 산업용 기기의 이상 진단은 주로 인간 작업자가 수행해 왔으나 이상 진단을 자동화하는 연구도 꾸준히 이루어져 왔다[1]. 자동 이상 진단 방법 중에는, 진동 데이터를 기반으로 한 다양한 방법이 연구되고 있는데, 이중, 데이터 기반 진단 방법은 많은 양의 데이터를 이용해 데이터의 특성을 찾아내고 이를 기반으로 결함을 진단하는 방식이다. KNN (KNearest Neighbors)[2], PCA (Principal Component Analysis)[3]등의 비학습 기반 방법과 인공 신경망[4], 퍼지 논리[5], 등의 학습 기반 방법 및 SVM (Support Vector Machine)[6]같은 방법이 데이터 기반 이상 진단에 사용되고 있다. 특히, 최근에는 심층학습(Deep Learning)을 활용한 다양한 데이터 기반 고장 진단이 연구되고 있다[4,7].

심층 학습 모델은 KNN, PCA 등 기존의 기계학습 방식보다 높은 정확도를 얻을 수 있어 다양한 응용 분야에서 활용되고 있지만, 모델의 수학적 해석이 어렵고 진단 결과의 근거를 알기 어렵다는 단점이 있다. 이러한 점은 제조업 분야에서 심층 학습모델의 결과를 신뢰하는 데 장애가 될 수 있다. 심층 학습 모델은 대표적인 블랙박스 모델로 인식되었으나 최근에는 심층 학습을 통해 학습된 모델의 설명을 가능하게 하기 위한 XAI(Explainable Artificial Intelligence)에 관한 연구가 활발히 진행되고 있다[8,9]. 하지만, 대부분의 XAI 연구는 직관적인 해석이 가능한 이미지 데이터 분야에 적용되어 왔다.

본 논문에서는 기존의 XAI기법인 Grad-CAM (Gradient-class Activation Map), FG-CAM (Frequency-domain-based Grad-cam), FFT-CAM (Fast Fourier Transform-based CAM)의 방법으로, 이상 진단 방법을 제시한 참고 문헌[10,11]의 방법을 적용하여 반도체 장비에 사용되는 웨이퍼 이송 로봇의 정렬 유격 이상을 검출하기 위한 심층 학습 기반 이상 진단 방법을 제안한다. 이상 상태의 검출에는 성능 비교를 위해 진동 신호와 토크 신호를 각각 사용하여 비교하며, 1D-CNN과 2D-CNN에 적합한 XAI 기법인 Grad-CAM, FG-CAM, FFT-CAM을 사용한 분류 활성화 맵(Class Activation Map, CAM)의 주파수 대역 시각화를 통해 모델의 이상 진단 이유를 해석할 수 있는 결과를 제시한다. 이전의 산업용 기기의 이상 진단 연구에서는 대부분 회전축 베어링 파손 이상에 관한 연구에 집중하였고 로봇의 유격 이상 진단에 관한 연구는 거의 이루어지지 않았다. 로봇에는 자체의 진동 특성이 출력 신호에 포함되기 때문에 이상을 진단하기 위한 규칙성을 찾기 어려운 점이 있다. 기존의 이상 진단 방법론을 산업용 로봇에 확장하는 것이 본 논문의 목적이다.

논문의 구성은 다음과 같다. 2장에서는 제안하는 웨이퍼 이송 로봇의 고장 진단 시스템에 대해 서술하고 3장에서는 데이터 세트의 구성과 실험 결과에 대해, 그리고 마지막 4장은 결론으로 구성하였다.


2. 웨이퍼 이송 로봇의 유격 이상 진단 시스템

2.1 고장 진단 방법의 구성

본 논문에서 제안하는 고장 진단 시스템의 구성은 Fig. 1과 같다. 대상이 되는 로봇은 반도체 장비에 사용되는 웨이퍼 이송용 로봇이다. 우선, 가속도 센서와 토크 센서로부터 진동 신호와 토크 신호를 검출한다. 토크 신호는 장비에 장착된 제어용 토크 센서나 서보 드라이버의 전류 센서로 검출할 수 있어 추가적인 하드웨어가 필요 없다는 장점이 있다. 검출된 신호는 데이터 전처리를 거쳐 판정 모델의 입력으로 사용된다. 입력 데이터는 성능 비교를 위해 1D-CNN 모델과 2D-CNN 모델로 구성하였으며, 1D-CNN 모델은 시간 영역의 원시 신호를 사용하고, 2D-CNN 모델은 STFT (Short Time Fourier Transform)를 통해 얻은 파워 스펙트럼(Power Spectrum)을 시각화한 스펙트로그램(Spectrogram)을 입력으로 사용한다. 스펙트로그램은 음성 신호의 시각화에 많이 사용하는 기법이다[12]. 이상 상태 분류는 1D-CNN 모델과 2D-CNN 모델을 독립적으로 활용하여 이루어진다. 이 두 모델은 신호로부터 각각 다른 특성을 추출하여 학습하며, 이를 통해 이상의 유무를 분류한다. 또한 분류 결과를 설명하기 위해 2D-CNN 모델은 Grad-CAM 기법을 활용하여 시각화하고, 1DCNN 모델은 FFT-CAM 및 FG-CAM을 이용하여 주파수 영역에서의 예측 결과를 설명한다. 고장 진단기의 각 과정에서 사용된 관련 배경 연구는 다음과 같다.

Fig. 1

The proposed diagnostic system

(1) STFT[13]

신호 x(t)의 STFT X(τ,w)는 식(1)과 같이 x(t)와 짧은 시간 간격에서만 0이 아닌 값을 갖는 윈도우 함수 w(t)와의 곱의 Fourier 변환이다. 윈도우 함수는 Hann Window나 Gaussian Window를 주로 사용한다.

Xτ,w=-xtwt-τe-iωtdt(1) 
(2) 스펙트로그램[12]

스펙트로그램은 STFT한 결과에서 |X(τ, w)|2의 값을 시간 축과 주파수 축의 2차원으로 시각화한 것으로 진폭을 색깔이나 명암으로 표시한다. 본 연구에서는 스펙트로그램을 사람이 정보를 얻기 위한 용도가 아닌, AI 인식 모델의 입력으로 사용한다.

(3) 1D-CNN 모델 및 2D-CNN 모델

1D-CNN은 주로 1차원 데이터 처리에 특화된 신경망 구조로, 심층학습을 활용한 결함 진단 분야에서 널리 사용되고 있다. 이 모델은 주로 시계열 데이터와 같은 1차원신호를 다루는 데 적합하며, 데이터를 추가 변환하지 않고도 직접 처리할 수 있는 장점을 가지고 있다[17]. 1D-CNN 모델에서 첫 번째 입력층은 시간에 따른 신호 데이터를 받아들이고 이어지는 여러 개의 합성곱 층에서는 ‘Tanh’ 활성화 함수를 사용하여 각각 128, 64, 32, 16, 8개의 필터와 16, 8, 4, 4, 4의 커널 크기로 신호의 특징을 추출한다. 각 합성곱 층 다음에는 과적합(Overfitting)을 방지하고 모델의 일반화 능력을 향상시키기 위해 최대 풀링과 드롭아웃 층을 적용한다. 마지막으로, 신호는 전역 평균 풀링 층을 통과하며, 소프트맥스(Softmax) 활성화 함수를 사용하는 밀집층에서 각 클래스로 분류되는 출력을 결정한다.

2D-CNN모델은 VGG (Visual Geometry Group)로 알려진 이미지 인식을 위한 심층 학습 모델을 사용하며, 224 × 224 크기의 이미지의 입력하여 이미지의 내용을 클래스로 분류할 수 있다. VGG-16과 VGG-19모델이 사용되는데 각각 16개와 19개의 컨볼루션 층을 갖는다. 산업용 시스템의 진단에서는 신호의 스펙트로그램 이미지로 VGG 모델을 재학습시킨 전이학습(Transfer Learning) 모델을 고장 진단에 활용한다[14].

(4) Grad-CAM [15]

CAM (Class Activation Map)은 설명 가능한 인공 지능 기법중 하나로, CNN의 결과에 영향을 미친 픽셀의 위치를 시각적으로 표현하여 신경망을 해석하는 기법이다[16]. 이 방법은 CNN의 마지막 합성곱 계층을 전역 평균 풀링(Global Average Pooling, GAP)을 통해 완전 연결 계층으로 변환하고, 각 완전연결 계층의 포인트를 활성화 계층의 가중치로 사용하여 이미지를 분류한다. CAM은 마지막 합성곱 계층에서만 사용할 수 있는 한계가 있는데 Grad-CAM은 이러한 CAM의 단점을 극복하기 위해 개발된 모델 중 하나로, 가중치 대신 역전파 기울기를 활용하여 히트맵(Heat Map)을 생성한다[17]. 클래스 c의 가중치와 Grad-CAM의 수식은 식(2) 및 (3)과 같다. 여기서 yc는 클래스 c의 출력, Akk번째 필터, hw는 필터의 높이와 넓이, N은 필터의 개수, akk번째 필터의 가중치이다.

akc=1hwΣi=1hΣj=1wycAi,jk(2) 
Grad-CAMc=ReLUk=1NakcAk(3) 
(5) FG-CAM [10]

Grad-CAM 기법에 대한 주파수 대역의 해석으로, Grad-CAM의 ReLU 함수를 Welch’s Method 파워 스펙트럼으로 대체하여 주파수 분석을 수행한다. 마지막 레이어의 필터 Fk의 가중치 a^kc는 다음 식(4)와 같다.

a^kc=1ni=1nycFik/Σi=1nFik(4) 

그리고, 계산된 필터의 가중치는 식(5)와 같다. 여기서 P(·) (f) Welch’s Method 파워 스펙트럼이다.

FG-CAMc=PΣk=1Na^kcFkf(5) 
(6) FFT-CAM [11]

FG-CAM에서는 계산된 필터 가중치 a^kc와 필터 Fk를 곱한 결과에 Welch’s Method 대신 식(6)과 같이 푸리에 고속 변환(FFT) 기법을 적용한 파워 스펙트럼을 이용한다. 식에서 PF(f)는 푸리에 변환에 의한 파워 스펙트럼을 의미한다.

FFT-CAMc=PFΣk=1Na^kcFk(6) 

3. 실험 및 결과

3.1 실험 장치 구성

실험 장치는 Fig. 2와 같이 웨이퍼 이송 로봇이 설치된 프레임에 가속도 센서를 부착하여 진동 신호를 측정하고, 토크 신호는 서보 드라이버를 통해 수집하였다. Z축의 상하 운동을 대상으로 15초간 4가지 다른 속도로 이동하며 실험을 수행했다. 진동과 토크 값의 샘플링 주파수는 각각 4,000과 66.67 Hz이다. Fig. 3은 정상상태와 볼 스크류 축 유격 이상이 있는 상태에서의 가속도 신호의 스펙트로그램과 원신호를 나타낸 것이고 Fig. 4는 같은 조건에서의 토크 신호의 스펙트로그램과 원신호를 그린 것이다.

Fig. 2

Experimental setup

Fig. 3

Acceleration signal spectrogram (above) and original signal (below) (a) Normal (b) Ball screw misalignment

Fig. 4

Torque signal spectrogram (above) and original signal (below) (a) Normal (b) Ball screw misalignment

3.2 훈련

훈련, 검증, 테스트 단계에서 사용한 데이터의 수는 Table 1과 같다. 볼 스크류의 전체 이송 변위는 355 mm이고 이동 속도는 200-500 mm/s 사이에서 4단계로 나누어 구동하면서 데이터를 측정하였다. 각 속도 별로 각각 25개씩 구동 시 발생하는 진동 신호와 토크 신호를 수집하고 모델 훈련할 때는 Adam 옵티마이저를 사용하였고, 손실함수(Loss Function)는 Categorical Cross-entropy를 사용하였으며, 반복횟수(Epochs)는 150으로 설정하였다. 이때 볼스크류 유격 이상은 0.4 mm이다. 이상 검출 문제는 구분해야 할 클래스를 정상과 볼 스크류 유격 이상의 2진 분류 문제로 훈련한 후 시험하였다. 분류 문제에 대해 훈련 과정의 손실 함수는 가속도 센서인 경우 Fig. 5, 토크 센서를 사용한 경우는 Fig. 6과 같다.

Data sets for experiments

Fig. 5

Loss function (acceleration data)

Fig. 6

Loss function (torque data)

가속도 센서 데이터의 경우, 1D-CNN과 2D-CNN 모두 매우 낮은 손실 값을 기록하며 100%의 정확도를 보였고, 2D-CNN의 성능이 더 우수함을 나타냈다. 반면, 토크 센서 데이터에서는 1D-CNN이 초기 손실이 높았으나 훈련 후 안정적인 감소를 보였으며, 최종 손실 값은 약 0.247로 나타났다. 2D-CNN은 손실값이 더 낮았으나, 정확도가 약간 감소하여 96.88%로 평가되었다. 이는 토크 데이터를 이용한 분류기의 성능이 가속도 데이터를 사용했을 때보다 상대적으로 낮음을 보여준다.

3.3 결과

3.3.1 이상 감지 정확도

구현된 고장 진단 장치의 테스트 결과는 Table 2와 같다. 가속도 센서를 사용한 경우 정상/비정상을 구분하는 2 클래스 문제에서는 모든 모델에서 100%의 정확도를 보였다. 토크 센서를 사용하는 경우 정상/비정상을 구분하는 2 클래스 문제에서는 모델에 따라 100, 97%의 정확도를 보였다. 이상 검출에 있어서 진동 센서 및 토크 센서 모두, 유격 이상 문제에 대해서 진동 정보 획득에 적합한 것으로 판단된다. 토크 센서 정보를 이용하여 2D-CNN을 사용하는 경우의 혼동 행렬을 Table 3과 같다.

Diagnosis accuracy

Confusion matrix, (Torque sensor, 2D-CNN)

3.3.2 T-SNE 그래프

T-SNE 그래프는 차원 축소를 통해 유사한 데이터들을 서로 가깝게 배치하는 시각화 장치로, 사용한 분류 방법이 문제 해결에 얼마나 유용할 지 판단할 수 있는 장치이다[18]. 가속도계를 사용하는 경우 T-SNE 그래프는 Figs. 7과 같고 8은 토크 센서를 사용한 경우의 그래프이다. 두 범주의 데이터가 명확히 분리되어 있는 것을 보여준다.

Fig. 7

T-SNE graph of acceleration data case

Fig. 8

T-SNE graph of torque data case

3.3.3 XAI모델 해석

(1) Grad-CAM 적용 모델 해석

먼저, Grad-CAM을 활용하여 CNN 모델의 결과를 분석하였다. 가속도 및 토크 센서로부터 얻은 웨이퍼 이송 로봇의 신호-주파수 이미지에 Grad-CAM을 적용한 결과를 Figs. 910에 나타냈다. 이를 통해 정상, 볼 스크류 유격 이상의 2가지 클래스 문제인 경우에 모델의 가중치가 큰 주파수 영역이 서로 다른 것을 확인할 수 있었다. 특히, AI는 이 두 상태를 구분하는데 있어 각각의 특징을 효과적으로 식별할 수 있음을 보여주었다.

Fig. 9

STFT and Grad-CAM result (acceleration data)

Fig. 10

STFT and Grad-CAM result (torque data)

(2) FG-CAM 적용 모델 해석

모델 해석을 위해 원신호의 주파수 대역의 파워 스펙트럼 밀도(Power Spectrum Density, PSD) 그래프와 FG-CAM을 사용한 분류 활성화 신호(CAM)의 파워 스펙트럼 밀도 그래프를 비교하였다. 이를 통해 모델이 주파수 영역에서, 원신호의 어느 주파수 영역을 주로 분류에 활용하는지에 대한 해석을 수행하였다. Fig. 11은 가속도 정보를 사용한 경우로 테스트 데이터에 대한 이상과 정상 클래스의 평균 PSD 그래프를 나타내고 있다. 푸른색 그래프는 원신호의 PSD이고 붉은색 그래프는 CAM신호의 PSD이다. 푸른색 박스는 분류 활성화 신호 대비 원신호의 주파수 성분의 중간 영역을 표시한다. 볼 스크류 측 결함의 경우, 모델이 원신호에서 두드러지지 않은 0부터 300 Hz 미만의 주파수 대역에 가중치를 두고 참조하고 있음을 확인할 수 있다. 또한, 정상 데이터에서도 정상 클래스의 분류를 위해 0부터 500 Hz 미만과 1,400 Hz부터 주파수 대역을 가중치를 두어 참조하고 있음을 알 수 있다. Fig. 12는 토크를 사용한 경우의 테스트 데이터에 대한 결함과 정상 클래스의 평균 PSD 그래프를 나타내고 있다. 또한, 푸른색 박스는 분류 활성화 신호 대비 원신호의 주파수 성분이 낮은 영역을 표시한다. 정상 상태와 고장 상태의 주파수 대역을 식별하기가 어려운 반면, 각각의 진폭 차이가 나서 주파수 대역의 진폭 부분에 가중치를 두어 참조하고 있음을 확인할 수 있다. 모델 해석 실험 결과를 통해, 정상과 이상 상태를 포함한 2진 클래스에 대하여 모델이 주로 분류에 활용하는 대역이 원신호의 신호 성분과는 차이가 있음을 알 수 있다. 이 결과는 모델이 학습을 통해 필요한 정보에 가중치를 부여하여 분류하고 있음을 나타낸다.

Fig. 11

Raw signal and FG-CAM result (acceleration data)

Fig. 12

Raw signal and FG-CAM result (torque data)

(3) FFT-CAM 적용 결과

다음에는 FFT-CAM을 이용한 모델 해석을 수행하였다. 모델의 해석은 입력으로 이용되는 원신호의 주파수 대역의 PSD 그래프와 FFT-CAM 기법을 통한 분류 활성화 신호(CAM Signal)의 파워 스펙트럼 밀도 그래프의 시각적 비교를 통해 결과를 도출하였다. 모델의 동작을 설명하기 위해, 실제로 원신호가 포함하고 있는 신호의 주파수 성분과 모델이 주시하는 특성 신호의 주파수 성분을 비교하였다. 이를 통해 원신호의 어느 주파수 대역을 모델이 선택하여 분류에 활용하였는지에 대해 해석할 수 있다. Fig. 13은 가속도계를 사용한 경우를 나타내며, 테스트 데이터에 대한 결함과 정상 클래스의 평균 PSD 그래프이다. 푸른색 박스는 원신호의 주파수 성분이 약 500 Hz부터 주파수 대역에 속함을 나타낸다. 볼 스크류 측 결함에서 모델은 원신호에서 두드러지 않은 0부터 250 Hz 미만의 저주파 대역에 가중치를 참조하고 있음을 알 수 있다. 마찬가지로 정상 데이터를 정상으로 분류하기 위해 0부터 250 Hz 미만의 주파수 대역에 비중 있게 활용하고 있음을 확인할 수 있다. Fig. 14는 토크 정보를 사용한 경우이다. 푸른색 박스는 원신호의 주파수 대역의 PSD그래프로 저주파 대역에 속한다는 것을 나타내고 붉은색 박스는 모델이 원신호의 주파수 대역의 PSD 그래프에는 두드러지지 않은 분류 활성화 신호임을 나타낸다. 결함과 정상 데이터의 주파수 대역이 원신호의 어느 부분에 중점을 두어 분류했는지 식별하기 어렵지만, 진폭 부분에서 큰 차이를 보이고 있어서 주파수 대역의 진폭 부분에 큰 가중치를 두고 있음을 확인할 수 있다. 모델 해석 실험 결과를 통해, 정상과 이상 상태를 포함한 2진 클래스에 대하여 모델이 주로 참조해서 보는 대역이 원신호의 신호 성분과는 차이가 있음을 알 수 있다. 이 결과는 모델이 학습을 통해 필요한 정보에 가중치를 두고 분류하고 있음을 나타낸다.

Fig. 13

Raw signal and FFT-CAM result (acceleration data)

Fig. 14

Raw signal and FFT-CAM result (torque data)


4. 결론

본 논문에서는 반도체 장비용 웨이퍼 이송 로봇의 정렬 유격 이상을 진단하기 위해 진동 신호와 토크 신호를 이용한 심층 학습 기반의 이상 진단 방법을 제안하였다. 1D-CNN 모델과 2DCNN 모델을 사용한 실험 결과, 가속도 센서를 사용한 경우 정상/비정상을 구분하는 2클래스 문제에서 모든 모델에서 100%의 정확도를 보였고 토크 센서를 사용하는 경우 정상/비정상을 구분하는 2클래스 문제에서는 모델에 따라 100, 97%의 정확도를 보였다. 진동 센서 및 토크 센서 모두 볼 스크류 유격 이상을 검출할 수 있음을 확인하였다. 또한, Grad-CAM, FG-CAM, FFT-CAM을 사용한 분류 활성화 맵의 주파수 대역 시각화를 통해 모델이 어떻게 이상 진단을 수행하는지 해석할 수 있었다. 이러한 분석을 통해, 정상 상태와 볼 스크류 정렬 유격 이상 상태를 구분할 때 모델이 각각 다른 주파수 영역에 높은 가중치를 두고 있음을 확인하였고 AI를 이용한 진단 모델은 이 두 상태를 효과적으로 식별할 수 있는 능력을 보여주었다.

본 연구의 목적은 그동안 회전 기기의 베어링 파손 이상 진단을 중심으로 이루어진 AI를 이용한 자동 진단 기법을 산업용 로봇에까지 확장하는 것이다. 이를 위하여 다양한 분류 방법과 해석 방법에 대해 비교연구를 통해 적합한 진단 방법을 제시하였다. 연구를 통해 제안된 방법이 웨이퍼 이송 로봇의 볼 스크류 유격 이상을 높은 정확도로 진단할 수 있음을 보여주었으며, 이는 산업 현장에서의 신뢰할 수 있는 이상 진단 및 예방 유지보수 전략 수립에 기여할 것으로 기대된다. 향후 추가적으로 연구해야 할 내용은 다음과 같다.

(1) 웨이퍼 로봇이 다품종 소량 생산이어서 이상 데이터를 구하기 어려운 점을 고려하여, 제조 후 바로 출하되는 과정에서 추가 시험이 어려운 상황을 극복하기 위해 출하 후 운전 사이클에 맞춘 시험 사이클을 설정하여 실험 데이터를 확보할 계획이다.

(2) 상하 운동이 정속도가 아니고 반복 사이클인 점을 반영하여, 로봇의 다양한 주파수에서의 응답을 분석하고, 반전 운동 시 발생하는 충격파의 영향을 연구하여 모델이 전 주파수에서 고르게 반영하도록 개선할 예정이다.

향후 연구를 통해, 웨이퍼 이송 로봇의 품질을 유지하고, 진단 모델의 신뢰성을 높여 산업용 자동화 장치의 예방 유지보수에 활용할 수 있을 것으로 예상한다.

NOMENCLATURE

BS : Ball Screw Misalignment
Grad-CAM : Gradient-based Class Activation Map
FG-CAM : Frequency-domain-based grad-CAM
FFT-CAM : Fast Fourier Transform-based CAM

References

  • Hong, S., Lee, Y., Moon, C., (2023), Transfer learning-based vibration fault diagnosis for ball bearing, The Journal of the Convergence on Culture Technology, 9(3), 845-850.
  • Pandya, D. H., Upadhyay, S. H., Harsha, S. P., (2013), Fault diagnosis of rolling element bearing with intrinsic mode function of acoustic emission data using APF-KNN, Expert Systems with Applications, 40(11), 4137-4145. [https://doi.org/10.1016/j.eswa.2013.01.033]
  • Choi, S. W., Lee, C., Lee, J.-M., Park, J. H., Lee, I.-B., (2005), Fault detection and identification of nonlinear processes based on kernel PCA, Chemometrics and Intelligent Laboratory Systems, 75(1), 55-67. [https://doi.org/10.1016/j.chemolab.2004.05.001]
  • Hu, H., Tang, B., Gong, X., Wei, W., Wang, H., (2017), Intelligent fault diagnosis of the high-speed train with big data based on deep neural networks, IEEE Transactions on Industrial Informatics, 13(4), 2106-2116. [https://doi.org/10.1109/TII.2017.2683528]
  • Liu, X., Ma, L., Mathew, J., (2006), Machinery fault diagnosis based on feature level fuzzy integral data fusion techniques, Proceedings of IEEE International Conference on Industrial Informatics, 857-862. [https://doi.org/10.1109/INDIN.2006.275689]
  • Ren, L., Lv, W., Jiang, S., Xiao, Y., (2016), Fault diagnosis using a joint model based on sparse representation and SVM, IEEE Transactions on Instrumentation and Measurement, 65(10), 2313-2320. [https://doi.org/10.1109/TIM.2016.2575318]
  • Yuan, X., Zhou, J., Huang, B. Wang, Y., Yang, C., Gui, W., (2020), Hierarchical quality-relevant feature representation for soft sensor modeling: A novel deep learning strategy, IEEE Transactions on Industrial Informatics, 16(6), 3721-3730. [https://doi.org/10.1109/TII.2019.2938890]
  • Samek, W., Wiegand, T., Muller, K.-R., (2017), Explainable artificial intelligence: Understanding, visualizing and interpreting deep learning models. https://arxiv.org/abs/1708.08296
  • Gunning, D., Aha, D., (2019), DARPA’s explainable artificial intelligence (XAI) program, AI magazine, 40(2), 44-58. [https://doi.org/10.1609/aimag.v40i2.2850]
  • Kim, M. S., Yun, J., Park, P., (2021), An explainable convolutional neural network for fault diagnosis in linear motion guide, IEEE Transactions on Industrial Informatics, 17(6), 4036- 4045. [https://doi.org/10.1109/TII.2020.3012989]
  • Ahn, J., (2021), An explainable 1D-CNN deep learning method for fault diagnosis of rotating machinery using FFT-CAM, M.Sc. Thesis, Kyung Hee University.
  • Manhertz, G., Bereczky, A., (2021), STFT spectrogram based hybrid evaluation method for rotating machine transient vibration analysis, Mechanical Systems and Signal Processing, 154, 107583. [https://doi.org/10.1016/j.ymssp.2020.107583]
  • Han, J., Park, S., Hong, S., (2022), Performance evaluation of the continuous wavelet transformation data in motor fault diagnosis through XAI algorithm, The Transactions of the Korean Institute of Electrical Engineers, 71(1), 225-232. [https://doi.org/10.5370/KIEE.2022.71.1.225]
  • Simonyan, K., Zisserman, A., (2014), Very deep convolutional networks for large-scale image recognition, https://doi.org/10.48550/arXiv.1409.1556
  • Kim, Y., Jeon, H., Kim, Y. K., (2022), A comparison study of ball bearing fault diagnosis and classification analysis using XAI Grad-CAM. The Transactions of the Korean Institute of Electrical Engineers, 71(9), 1315-1325. [https://doi.org/10.5370/KIEE.2022.71.9.1315]
  • Zhou, B., Khosla, A., Lapedriza, A., Oliva, A., Torralba, A., (2016), Learning deep features for discriminative localization, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2921-2929. [https://doi.org/10.1109/CVPR.2016.319]
  • Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., Batra, D., (2017), Grad-CAM: Visual explanations from deep networks via gradient-based localization, Proceedings of the IEEE International Conference on Computer Vision, 618-626. [https://doi.org/10.1109/ICCV.2017.74]
  • Maaten, L., Hinton, G., (2008), Visualizing data using t-SNE, Journal of Machine Learning Research, 9(86), 2579-2605.
Su-bin Hong

Research assistant in the research center of Ninebell co. Ltd. His research interests are information and communication and AI.

E-mail: sbhong@ninebell.co.kr

Hye-jin Kim

Research assistant in the research center of Ninebell co. Ltd. Her research interests include robotics, AI, Bigdata.

E-mail: hjkim@ninebell.co.kr

Young-dae Lee

Ph.D, The senior researcher in the research center of Ninebell co. Ltd. His research interests include robotics, fuzzy control and AI.

E-mail: ydlee@ninebell.co.kr

Chanwoo Moon

Professor, School of Electrical Engineering, Kookmin University, Seoul, Korea. His research interest is robotics, and motor control.

E-mail: mcwnt@kookmin.ac.kr

Fig. 1

Fig. 1
The proposed diagnostic system

Fig. 2

Fig. 2
Experimental setup

Fig. 3

Fig. 3
Acceleration signal spectrogram (above) and original signal (below) (a) Normal (b) Ball screw misalignment

Fig. 4

Fig. 4
Torque signal spectrogram (above) and original signal (below) (a) Normal (b) Ball screw misalignment

Fig. 5

Fig. 5
Loss function (acceleration data)

Fig. 6

Fig. 6
Loss function (torque data)

Fig. 7

Fig. 7
T-SNE graph of acceleration data case

Fig. 8

Fig. 8
T-SNE graph of torque data case

Fig. 9

Fig. 9
STFT and Grad-CAM result (acceleration data)

Fig. 10

Fig. 10
STFT and Grad-CAM result (torque data)

Fig. 11

Fig. 11
Raw signal and FG-CAM result (acceleration data)

Fig. 12

Fig. 12
Raw signal and FG-CAM result (torque data)

Fig. 13

Fig. 13
Raw signal and FFT-CAM result (acceleration data)

Fig. 14

Fig. 14
Raw signal and FFT-CAM result (torque data)

Table 1

Data sets for experiments

Class # Training data # Validation data # Test data # Total
Fault 68 16 16 100
Normal 68 16 16 100

Table 2

Diagnosis accuracy

Sensor type Model Classes Accuracy %
Acceleration sensor 1D-CNN 2 100
2D-CNN 2 100
Torque sensor 1D-CNN 2 100
2D-CNN 2 97

Table 3

Confusion matrix, (Torque sensor, 2D-CNN)

Fault 1.0 0.0
Normal 0.06 0.94
Fault Normal