JKSPE
[ REGULAR ]
Journal of the Korean Society for Precision Engineering - Vol. 39, No. 5, pp.337-343
ISSN: 1225-9071 (Print) 2287-8769 (Online)
Print publication date 01 May 2022
Received 11 Feb 2022 Revised 28 Mar 2022 Accepted 06 Apr 2022
DOI: https://doi.org/10.7736/JKSPE.022.021

회전기계를 위한 건전성 예측 및 관리 시스템 개발과 로터리 테이블에 적용

강민규1 ; 이치범1, #
1서울과학기술대학교 기계시스템디자인공학과
Development of Prognostics and Health Management System for Rotating Machine and Application to Rotary Table
Mingyu Kang1 ; Chibum Lee1, #
1Department of Mechanical System Design Engineering, Seoul National University of Science & Technology

Correspondence to: #E mail: chibum.seoultech.ac.kr, TEL: +82-2-970-6337

Copyright © The Korean Society for Precision Engineering
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Recently, interest in Prognostics and Health management (PHM) has been increasing as an advanced technology of maintenance. PHM technology is a technology that allows equipment to check its condition and predict failures in advance. To realize PHM technology, it is important to implement artificial intelligence technology that diagnoses failures based on data. Vibration data is often used to diagnose the state of the rotating machine. Additionally, there have been many efforts to convert vibration data into 2D images to apply a convolutional neural network (CNN), which is emerging as a powerful algorithm in the image processing field, to vibration data. In this study, a series of PHM processes for acquiring data from a rotary machine and using it to check the condition of the machine were applied to the rotary table. Additionally, a study was conducted to introduce and compare two methodologies for converting vibration data into 2D images. Finally, a GUI program to implement the PHM process was developed.

Keywords:

Smart factory, Prognostics and health management, Deep learning, Convolutional neural network

키워드:

스마트팩토리, 건전성 예측 및 관리, 딥러닝, 합성곱 신경망

1. 서론

최근 4차 산업혁명의 흐름에 따라 제조업 분야에서 스마트팩토리에 대한 관심이 많아지고 있다[1]. 스마트팩토리의 핵심은 설비 및 장비의 지능화에 있다. 설비는 지능화를 통해 스스로 자신의 상태를 점검하고 미래의 고장을 이미 예지하는 지능을 부여 받는다[2,3]. 이를 통해 기존 사후 정비 및 주기적 정비에 비해 부품 정비 및 교체 시기를 더 유동적으로 설정할 수 있고, 미래에 있을 고장에 대한 대비를 미리 할 수 있다. 이에 따라 PHM을 활용한 유지정비는 비용적인 이득을 취하고, 안전성을 향상시키는 장점이 있다. 이러한 PHM을 실현시키기 위한 접근법에는 두 가지가 있다. 하나는 모델 기반이고 다른 한가지 방법은 데이터 기반의 접근법이다[4]. 모델 기반 접근법은 수학적인 열화 특성 모델이나 물리적인 시뮬레이션 모델을 통해 고장을 진단하거나 장비의 잔여 수명을 예측한다[18,19]. 하지만 최근 복잡해지고 있는 기계의 구조 특성상 이러한 모델을 정확하게 구현해내는 것은 불가능에 가까워지고 있다. 반면에 데이터 기반의 접근법은 장비에 대한 도메인 지식이 부재하여도 장비에서 얻는 센서 신호를 인공지능으로 분석하여 장비의 고장을 진단하고 잔여 수명을 예측할 수 있다. 데이터 기반 접근법의 낮은 진입장벽과 인공지능의 강력한 성능 덕분에 데이터 기반의 접근법이 모델 기반의 접근법에 비해 더 많은 연구가 이루어지고 있다. 인공지능을 활용할 때 가장 중요한 것은 센서 데이터에서 상태 지표를 가장 잘 대변할 수 있는 특징을 추출하는 것이다. 특히 인공지능에서는 특징 추출 알고리즘으로 시계열 특성을 잘 추출할 수 있는 장단기 메모리(Long Short-Term Memory, LSTM) [17]과 공간적 특성을 잘 추출할 수 있는 합성곱 신경망(Convolutional Neural Networks, CNN) [5]을 주로 활용한다. 하지만 화전기계를 진단하기 위해 가장 흔히 쓰이는 진동 데이터는 비교적 시계열 특성은 크게 중요하지 않기 때문에 합성곱 신경망이 주로 쓰이고 있다. 합성곱 신경망은 주로 2D 사진 처리 분야에서 흔히 쓰이던 알고리즘이며, 이에 따라 합성곱 신경망을 응용한 대부분의 강력한 모델들은 2D 사진을 입력으로 가정하여 개발되었다. 이에 따라 1D의 진동 데이터를 2D 사진으로 변환하는 시도가 많이 연구되고 있다. 대표적으로 Hoang [10]은 진동 데이터의 시계열 상태 그대로 사진의 각 픽셀값으로 대치하였다. 또 다른 연구에서 Chen [7]은 진동 데이터에 Short-Time Fourier Transform (STFT)을 적용하여 시간-주파수 영역의 2D 스펙트럼 사진을 얻었다. 인공지능 모델은 입력 데이터의 질과 그 종류에 따라 모델의 성능이 좌우되기 때문에 진동 데이터를 전처리하는 방식은 상당히 중요한 부분이다. 본 연구에서는 벤치마크 데이터인 CWRU 베어링 데이터와 PRONOSTIA 베어링 데이터에 서로 다른 방식의 사진 변환 방식을 적용하여 동일한 CNN 모델을 학습하였다. 이후 성능 차이를 비교하여 더 좋은 사진화 기법을 선정하고, 그 이유를 로터리 테이블의 진동 데이터를 직접 취득하여 실험을 통해 분석한다. 또한 해당 실험은 데이터 취득과 데이터를 처리, 분석하는 프로그램을 개발하는 과정을 통해 수행하였다.


2. 회전기계의 건전성 예측 및 관리 프로세스

2.1 센싱 데이터의 사진화

대다수 딥러닝을 적용한 PHM 사례에서는 진동 데이터를 사진으로 변환하여 CNN [5]을 적용하는 경우가 많다. CNN은 합성곱 연산을 활용한 딥러닝 알고리즘으로 주로 사진 분야에서 분류와 예측을 위한 용도로 많이 활용된다. CNN은 그 성능이 강력하여 PHM 분야에서도 CNN을 활용하기 위해 측정된 센서 신호를 사진으로 변환하는 시도가 이루어지고 있다[6]. Chen[7]은 베어링의 진동 데이터를 STFT [8]하여 시간-주파수 스펙트럼 사진으로 변환하였고, 이 사진으로 CNN 모델을 학습하였다. 해당 연구에서는 Grad-CAM (Gradient-Class Activation Mapping)[9]을 활용하여 CNN 모델이 예측한 결과를 분석하였다. Fig. 1은 STFT의 과정을 보여준다. Li [10]은 CNN이 접목된 GAN 모델을 개발하였는데, 이 과정에서 축, 베어링 등의 진동 데이터를 STFT 처리하여 사진으로 변환하였고, 이를 입력 데이터로 활용하였다. 해당 연구에서는 GAN의 식별기(Discriminator)가 도메인 데이터들의 분포를 재정렬시키도록 학습을 유도하였고, 결과적으로 전이학습[11]을 성공시켰다. Ma [12]은 베어링의 잔여 수명을 예측하기 위해 LSTM의 내부 연산에 합성곱 연산을 적용한 CLSTM (Convolutional Long Short Term Memory) 모델을 개발하였다. 해당 연구에서도 베어링의 진동 데이터를 STFT 처리하여 사진으로 변환하였고, 이를 입력 데이터로 활용하였다.

Fig. 1

STFT image process of vibration

Hoang [13]은 진동 데이터를 -1–1 값으로 정규화하고, 이를 사진의 각 픽셀 값으로 대치하였다. Fig. 2는 시간 영역에서 신호를 사진화 하는 방법에 대한 예시를 보여준다.

Fig. 2

Time series image of vibration

본 연구에서는 프로그램에 STFT 사진과 시계열 사진을 생성할 수 있는 기능을 추가하였고, 각 사진화 방법에 따른 CNN 모델의 성능을 비교하였다.

2.2 학습 모델

Chen [7]에서 진동 신호의 STFT 사진을 학습하기 위한 모델로 Table 1과 같은 구조의 네트워크를 활용하였다. 해당 모델을 베어링의 결함에 따른 진동 데이터인 CWRU (Case Western Reserve University) [16] 데이터 세트에 적용했을 때 모델의 성능이 100%가 나왔다. 즉 모든 고장의 종류를 정확하게 판별하였다는 것을 의미한다.

Structure of CNN model of Chen [7]

본 연구에서는 데이터의 사진화 방법에 따른 CNN 모델의 성능 차이를 분석하는 것을 목표로 하였다. 더 단순한 구조의 CNN 모델을 활용하는 것이 데이터의 사진화 방법에 따른 성능 차이를 더 뚜렷하게 표현할 것으로 판단하여 본 연구에서는 Chen [7]의 모델 구조를 참조하여, 보다 더 단순화한 Fig. 3과 같은 모델 구조를 설계하여 활용하였다. Fig. 3의 분류(Classification) 모델은 3개의 합성곱 층을 통해 사진의 특정 모양 특성을 충분히 학습하면서도 계산 비용을 최소화하도록 설계되었다.

Fig. 3

Architecture of classification model

더불어 본 연구에서는 딥러닝을 통한 회귀(Regression) 기능을 모두 구현 가능하도록 프로그램을 개발하였는데 이는 최근의 PHM 연구 동향에서 중요하게 생각하는 RUL (Remaining Useful Life) 예측에 활용하기 위함이다. PHM은 단순히 고장이 났을 때 기계의 상태를 진단하는 것뿐만 아니라 고장이 발생하기 이전에 그 징후를 미리 포착하는 예지를 목표로 한다. PHM 분야에서는 여전히 RUL 예측에 대한 연구는 어려움을 겪고 있으며, 완벽에 가까운 원인 분류에 비해 많이 떨어지는 성능을 보이고 있다. 자산의 잔여 수명은 특정한 확률 분포에 의존하지 않으며 고장이 발생할 때까지 기계마다 다양한 구동 조건 및 환경 변수가 존재하기 때문에 고장을 감지할 수 있는 일반화된 특징을 추출하는 것이 매우 어려운 일이다. 또한 대부분의 기계는 고장이 발생하는 경우가 극히 드물어 데이터를 획득하기도 어렵고, 학습 데이터의 불균형 또한 고려해야 한다[4]. 앞서 언급한 Ma[12]는 직접 베어링의 열화 실험을 진행하여 획득한 데이터 세트를 이용하여 LSTM과 CNN을 단독으로 사용한 모델에 비해 CLSTM의 모델이 RUL 예측 성능이 더 뛰어남을 보였다.

Fig. 4의 회귀 모델은 Fig. 3의 단순한 구조의 분류 모델에서 마지막 완전 연결 계층에 1,024개의 노드로 구성된 층을 하나 추가한 후 마지막 출력을 하나의 노드로 구성한 형태의 구조로 변형하였다.

Fig. 4

Architecture of regression model

2.3 데이터 구조

분류와 회귀 각 목적에 따라 데이터의 수집 형태 및 구조가 다르다. 분류의 경우 결함 종류마다 원하는 만큼의 데이터를 저장하여 하나의 파일로 저장해도 문제가 되지 않지만, 회귀의 경우 주로 열화 정도나 잔여 수명을 예측하는 목적이 대다수이기 때문에 하나의 파일 안에 지속해서 데이터를 쌓으면, 데이터의 크기가 매우 커지게 된다. 그렇기 때문에 Fig. 5처럼 자산의 수명 동안 일정 주기에 따라 잠시 데이터를 수집하는 형태로 데이터 수집이 이루어질 것이다.

Fig. 5

Measurement method of regression data

일반적으로 분류와 회귀의 데이터 구조는 Fig. 6의 파일 구조로 이루어진다. 개발한 프로그램에서는 이러한 데이터 수집 형태를 고려하여 사용자가 데이터가 들어있는 폴더를 단순히 불러오기만 해도 목적에 따라 자동적으로 데이터를 재구조화하도록 개발하였다.

Fig. 6

(a) Data structure of classification, and (b) Data structure of regression


3. PHM 시스템 적용

3.1 프로세스 검증

기존에 회전체 관련 PHM 분야에서 많이 이용되는 데이터 세트들을 이용하여 개발한 프로그램을 검증하였다. 분류 모델을 이용하는 결함 진단(Fault Diagnosis)에 대해서는 CWRU의 베어링 진동 데이터를 활용하였다. CWRU 데이터는 PHM 연구에서 가장 대중적으로 활용하는 베어링 결함 데이터이다[7,10,12]. 해당 데이터 세트에는 정상, 볼 결함, 내륜 결함, 외륜 결함에 대한 진동 데이터가 존재한다. 회귀 모델을 이용하는 RUL 예측에 대한 검증을 위해서는 IEEE의 2012년 PHM 데이터 챌린지의 베어링 RUL 데이터 세트를 활용하였다[14,15]. 해당 데이터 세트는 모터 다이나모미터에서 베어링에 대한 열화 실험을 진행하여 베어링에 결함이 발생할 때까지 10초(Interval Time)에 한번 0.1초(Measuring Time) 동안 측정한 진동 데이터로 구성되어 있다. Table 2는 각 데이터 세트의 상세 정보를 나타낸다.

Dataset for program verification

CWRU 데이터 세트에 대해서 STFT 사진과 시계열 변환 사진을 생성하였으며, 이때 하나의 사진이 사용하는 데이터의 개수가 유사하도록 하였다. STFT 사진은 128 × 128 사이즈이다. STFT에서 윈도우는 카이저(Kaiser), 윈도우 길이는 128, 오버랩은 110으로 적용하였다. STFT 사진 하나에 사용된 데이터는 2,414개이다. 시계열 변환 사진은 50 × 50 사이즈이며 사진 하나에 사용된 데이터는 2,500개이다. 학습은 전체 데이터 세트에서 랜덤하게 70%를 선택하여 진행하였고, 나머지 30%를 검증 데이터로 활용하였다.

CWRU 데이터 세트의 진동 데이터를 사진으로 변환한 결과가 Fig. 7에 나타나 있다. CWRU 데이터에서 각 결함 종류마다 사진의 특성 모양 특성이 시계열 사진에 비해 STFT 사진에서 더 뚜렷하게 드러나는 것을 확인할 수 있다. 결함 진단 성능에 있어서 STFT 사진을 활용했을 때의 성능이 100%, 시계열 사진을 활용했을 때의 성능이 95%로 나타났다. 본 결과를 통해 STFT를 활용한 사진화 기법이 시계열 사진을 그대로 활용한 사진화 기법보다 좋은 사진화 방법임을 알 수 있다.

Fig. 7

Time series and STFT images of CWRU data

IEEE 데이터 세트의 진동 데이터를 STFT 사진으로 변환한 결과가 Fig. 8에 나타나 있다. IEEE 데이터 세트에 대해서는 초기 수명의 STFT 사진과 수명이 다한 STFT 사진의 차이는 뚜렷하였으나 그 사이의 잔여 수명에 해당하는 STFT 사진은 육안으로는 구분하기 어려운 모습이다. 실제로 2장에서 언급한 회귀 모델을 적용했을 때 총 수명 8,700 s인 베어링 데이터에 대해 평균 RMSE가 1,552 s가 나왔다. 또한 학습 데이터를 제외한 검증 데이터에 대한 모델의 성능을 Fig. 9와 같이 그래프로 표현하였다. 해당 그래프는 x축이 예측값, y축이 실제 값으로 y = x의 빨간 점선에 검증 데이터(파란색 십자점)가 많이 모여 있으면 좋은 성능의 모델을 의미한다. 모델이 비교적 수명을 근접하게 예측하는 추세로 보이지만 여전히 신뢰하기에는 편차와 분산이 크다는 것을 알 수 있다. 또한 해당 실험에서는 동일한 데이터 세트에서 검증 데이터를 활용한 만큼 더 일반화되고 좋은 성능의 모델을 개발할 필요가 있어 보인다.

Fig. 8

STFT images of IEEE dataset according to RUL

Fig. 9

The result of the model's application to the valid data

3.2 로터리 테이블에 PHM 시스템 적용

본 연구에서는 설계한 PHM 프로세스를 로터리 테이블에 적용하였다. 본 연구에서 활용한 로터리 테이블은 삼천리 기계(인천, 대한민국)의 S-200 모델이다. 로터리 테이블에서 상태 변화를 일으키고 고장을 발생시키는 중요한 인자는 웜기어의 백래쉬(Backlash)이다. 따라서 첫 번째 문제 정의 및 개발 계획 수립 단계에서 대상물을 로터리 테이블로 선정하고, 로터리 테이블의 진동을 측정하여 로터리 테이블 내부 웜기어의 백래쉬를 예측하는 목적으로 PHM 프로세스를 적용하였다. 두 번째 데이터 수집, 처리 인프라 구축 단계로서 데이터 수집을 위해 Analog Device (Cambrigde, 미국)사의 EV-CBM-VOYAGER3-1Z을 이용하였다. 해당 진동 센서는 IoT 센서로서 데이터를 수집함과 동시에 이를 와이파이로 전송하여 컴퓨터에서 무선으로 데이터를 받아올 수 있다. 센서의 사양은 x, y, z 3축, 최대 샘플링 주파수 1 kHz, 측정범위 ±40 g이다. 측정 결함 종류은 로터리 테이블 내부 웜기어의 백래쉬 0.01, 0.03, 0.04, 0.05, 0.06 mm로 총 5가지로 구성하였다. Fig. 10은 로터리 테이블의 진동을 측정하는 예시와 센서의 내부 모습을 보여준다. 다음 세 번째 모니터링/분석 알고리즘 개발 단계로서 앞서 언급한 프로그램을 그대로 활용하였다. 마지막 시스템 적용 및 효과 분석 단계로서 데이터 수집과 모델 학습의 일련의 과정을 거쳐 학습된 모델을 토대로 새로운 데이터에 대한 모델의 성능을 확인하였다.

Fig. 10

(a) S-200 rotary table, (b)Attachment of vibration sensor on rotary table, and (c) EV-CBM-VOYAGER3-1Z

우선 로터리 테이블의 진동 데이터를 두 가지의 사진화 방법에 따라 사진으로 변환하였다. 결과적으로 앞선 CWRU 데이터와 마찬가지로 Fig. 11과 같이 STFT 사진이 시계열 사진에 비해 결함 종류마다 특성 모양 특성이 더 뚜렷하게 나타났다. 실제로 분류 모델의 성능에서도 STFT 사진과 시계열 사진에 대한 성능이 각각 97, 76%가 나왔다. 해당 결과를 통해 로터리 테이블의 진동을 측정하여 내부 웜기어의 백래쉬를 예측할 수 있음을 보였다. CWRU 데이터와 마찬가지로 진동 데이터의 사진화 기법으로 STFT 기법에 의한 결함 진단능이 더 뛰어난 것으로 판단된다.

Fig. 11

Image according to the imaging method of rotary table’s vibration data

CWRU 데이터 세트와 측정 데이터에 대한 사진화 방법별 성능을 비교하여 Table 3에서 나타내었다. 이런 차이를 보이는 원인으로는 측정 데이터에는 잡음이 많이 섞여 있고, 특히 시계열 데이터를 그대로 사진으로 변환했을 때 이러한 잡음의 영향을 많이 받기 때문에 결함 종류마다 특성 모양 특성이 뚜렷하게 보이지 못한 것으로 파악된다. 반면, STFT 기법은 진동 데이터를 주파수 영역으로 변환하기 때문에 비교적 잡음의 영향을 크게 받지 않으면서도 결함 종류의 특성을 뚜렷하게 구분하는 사진을 형성할 수 있던 것으로 파악된다.

Comparison of performance of failure diagnosis on datasets

3.3 GUI 프로그램 구현

MATLAB의 App Designer를 이용하여 일련의 과정을 구현하는 프로그램을 개발하였다. 프로그램은 데이터 전처리-모델 학습-모델 적용의 일련의 과정을 모두 처리할 수 있다. Fig. 12는 프로그램의 GUI 모습의 예시를 보여준다. 좌측 메뉴는 데이터 처리에 필요한 여러 옵션을 설정하고, 우측창은 데이터 처리의 결과를 각 목적에 맞게 출력하도록 구성하였다. 본 GUI 프로그램을 통하여 손쉽게 사진화 방법과 딥러닝 모델을 변경하여 비교 분석할 수 있다.

Fig. 12

GUI of PHM program


4. 결론

본 연구에서는 PHM 시스템을 적용하기 위한 딥러닝 기반의 데이터 분석 프로그램을 개발하였다. 이후 프로그램을 활용하여 다양한 데이터 세트와 직접 취득한 데이터를 활용해 기존 PHM 연구에서 이루어진 데이터의 사진화 방법에 대한 비교 분석을 진행하였다.

주요 결론은 다음과 같다. 첫째, 1D의 진동 데이터를 2D 사진으로 변환하기 위해서는 주파수 영역이 내포된 STFT 방식이 적합하다. 그 이유는 단순한 시계열 사진에는 잡음에 의해 결함 종류을 구분하는 주요 모양 특성이 가려졌다. 하지만 STFT를 통한 사진은 잡음의 주파수와 상대적으로 주요 결함 특징을 나타내는 주파수가 분리되어 나타난다. 그러므로 CNN 알고리즘은 상대적으로 쉽게 결함에 따라 가진 특정 모양 특성을 감지하기 쉬워진다. 둘째, 본 연구는 회전기계에 PHM 적용을 위한 프로그램을 개발하였다. 본 프로그램을 활용해 직접 로터리 테이블의 백래쉬를 진단하는 과정을 수행하였고 높은 정확도로 로터리 테이블의 백래쉬를 분류할 수 있음을 보였다. 셋째, 프로그램은 분류 모델뿐만 아니라 잔여 수명 예측을 위한 회귀 모델을 구현할 수 있도록 개발되었다. 결과적으로 단순한 CNN 모델은 잔여 수명 예측에 만족스러운 성능을 얻기 힘들었다. 특히 고장이 발생했다고 여겨지는 이전의 시점, 즉 잔여 수명이 많이 남은 초기의 상태에 대한 예측이 정확하지 못했다. 해당 문제를 해결하기 위한 인공지능 모델의 개선이 필요하다. 이는 최근의 연구 동향에서도 나타난 것과 유사한 결과이며, 따라서 마모도 및 잔여 수명 등을 예지하기 위한 회귀 모델은 앞으로도 더 많은 연구가 필요해 보인다. 또, 특정 기계 장치에서 얻은 데이터를 활용해 학습한 모델이 다른 기계 장치 및 구동 조건에서의 데이터에도 동일한 성능을 유지하기 위한 일반화된 모델에 대한 개발이 필요해 보인다. 마지막으로 본 연구에서 개발한 프로그램은 모델을 언제든 교체 가능하도록 개발되었기 때문에 앞으로 더 좋은 모델이 개발된다면 이를 적용하여 진동 데이터를 분석하여 자산의 상태를 점검하는 PHM 분야에서 유용하게 활용될 것으로 기대한다.

Acknowledgments

이 논문은 2022년도 정부(산업통상자원부)의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구임(No. P0012744, 2022년 산업혁신인재성장지원사업).

REFERENCES

  • Xu, X., Hua, Q., (2017), Industrial big data analysis in smart factory: Current status and research strategies, IEEE Access, 5, 17543-17551. [https://doi.org/10.1109/ACCESS.2017.2741105]
  • Kim, J., Kang, H. S., Lee, J. Y., (2020), Development of intelligence data analytics system for quality enhancement of die-casting process, Journal of the Korean Society for Precision Engineering, 37(4), 247-254. [https://doi.org/10.7736/JKSPE.019.136]
  • Lim, J.-W., Jo, D.-H., Lee, S.-Y., Park, H.-J., Park, J.-W., (2017), A case study for the smart factory application in the manufacturing industry, Korean Journal of Business Administration, 30(9), 1609-1630. [https://doi.org/10.18032/kaaba.2017.30.9.1609]
  • Fink, O., Wang, Q., Svensen, M., Dersin, P., Lee, W.-J., Ducoffe, M., (2020), Potential, challenges and future directions for deep learning in prognostics and health management applications, Engineering Applications of Artificial Intelligence, 92, 103678. [https://doi.org/10.1016/j.engappai.2020.103678]
  • LeCun, Y., Bottou, L., Bengio, Y., Haffner, P., (1998), Gradientbased learning applied to document recognition, Proceedings of the IEEE, 86(11), 2278-2324. [https://doi.org/10.1109/5.726791]
  • Garcia, G. R., Michau, G., Ducoffe, M., Gupta, J. S., Fink, O., (2020), Time series to images: Monitoring the condition of industrial assets with deep learning image processing algorithms, arXiv preprint arXiv:2005.07031, . [https://doi.org/10.1177/1748006X21994446]
  • Chen, H.-Y., Lee, C.-H., (2020), Vibration signals analysis by explainable artificial intelligence (XAI) approach: Application on bearing faults diagnosis, IEEE Access, 8, 134246-134256. [https://doi.org/10.1109/ACCESS.2020.3006491]
  • Sejdić, E., Djurović, I., Jiang, J., (2009), Time-frequency feature representation using energy concentration: An overview of recent advances, Digital signal processing, 19(1), 153-183. [https://doi.org/10.1016/j.dsp.2007.12.004]
  • Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., Batra, D., (2017), Grad-cam: Visual explanations from deep networks via gradient-based localization, Proceedings of the IEEE International Conference on Computer Vision, 618-626. [https://doi.org/10.1109/ICCV.2017.74]
  • Li, X., Zhang, W., Ding, Q., Li, X., (2019), Diagnosing rotating machines with weakly supervised data using deep transfer learning, IEEE Transactions on Industrial Informatics, 16(3), 1688-1697. [https://doi.org/10.1109/TII.2019.2927590]
  • Weiss, K., Khoshgoftaar, T. M., Wang, D., (2016), A survey of transfer learning, Journal of Big Data, 3(1), 1-40. [https://doi.org/10.1186/s40537-016-0043-6]
  • Ma, M., Mao, Z., (2020), Deep-convolution-based LSTM network for remaining useful life prediction, IEEE Transactions on Industrial Informatics, 17(3), 1658-1667. [https://doi.org/10.1109/TII.2020.2991796]
  • Hoang, D.-T., Kang, H.-J., (2019), Rolling element bearing fault diagnosis using convolutional neural network and vibration image, Cognitive Systems Research, 53, 42-50. [https://doi.org/10.1016/j.cogsys.2018.03.002]
  • Li, X., Zhang, W., Ding, Q., (2019), Deep learning-based remaining useful life estimation of bearings using multi-scale feature extraction, Reliability Engineering & System Safety, 182, 208-218. [https://doi.org/10.1016/j.ress.2018.11.011]
  • Chen, Y., Peng, G., Zhu, Z., Li, S., (2020), A novel deep learning method based on attention mechanism for bearing remaining useful life prediction, Applied Soft Computing, 86, 105919. [https://doi.org/10.1016/j.asoc.2019.105919]
  • Smith, W. A., Randall, R. B., (2015), Rolling element bearing diagnostics using the Case Western Reserve University data: A benchmark study, Mechanical systems and signal processing, 64, 100-131. [https://doi.org/10.1016/j.ymssp.2015.04.021]
  • Malhotra, P., Vig, L., Shroff, G., Agarwal, P., (2015), Long short term memory networks for anomaly detection in time series, Proceedings, 89-94.
  • Sekhar, A., (2004), Model-based identification of two cracks in a rotor system, Mechanical Systems and Signal Processing, 18(4), 977-983. [https://doi.org/10.1016/S0888-3270(03)00041-4]
  • Wang, T., Liu, Z., Mrad, N., (2020), A probabilistic framework for remaining useful life prediction of bearings, IEEE Transactions on Instrumentation and Measurement, 70, 1-12. [https://doi.org/10.1109/TIM.2020.3029382]
Mingyu Kang

MSc candidate in the Department of Mechanical System Design Engineering, Seoul National University of Science & Technology. His research interest is automotive ICT engineering, PHM, AI.

E-mail: kmk8692@naver.com

Chibum Lee

Associate professor in the Department of Mechanical System Design Engineering, Seoul National University of Science & Technology. His research interests are analysis of dynamic control systems and application of machine learning.

E-mail: chibum@seoultech.ac.kr

Fig. 1

Fig. 1
STFT image process of vibration

Fig. 2

Fig. 2
Time series image of vibration

Fig. 3

Fig. 3
Architecture of classification model

Fig. 4

Fig. 4
Architecture of regression model

Fig. 5

Fig. 5
Measurement method of regression data

Fig. 6

Fig. 6
(a) Data structure of classification, and (b) Data structure of regression

Fig. 7

Fig. 7
Time series and STFT images of CWRU data

Fig. 8

Fig. 8
STFT images of IEEE dataset according to RUL

Fig. 9

Fig. 9
The result of the model's application to the valid data

Fig. 10

Fig. 10
(a) S-200 rotary table, (b)Attachment of vibration sensor on rotary table, and (c) EV-CBM-VOYAGER3-1Z

Fig. 11

Fig. 11
Image according to the imaging method of rotary table’s vibration data

Fig. 12

Fig. 12
GUI of PHM program

Table 1

Structure of CNN model of Chen [7]

Layer Filter size Stride Number of filters
or nodes
Conv. 1 9 × 9 2 × 2 4
Conv. 2 9 × 9 2 × 2 8
Pool. 2 4 × 4
Conv. 3 4 × 4 2 × 2 16
Conv. 4 4 × 4 2 × 2 32
Pool. 4 2 × 2
Flatten
Fully-Conn. 1 128
Fully-Conn. 2 32
Output 4

Table 2

Dataset for program verification

CWRU IEEE 2012 PHM
Purpose Classification Regression
Target Motor dynamometer Motor dynamometer
Types of label Defect of bearing RUL of bearing
Labels Normal, Ball, Inner, Outer fault RUL
Data feature Vibration Vibration
Sampling rate [Hz] 12,000 25,600

Table 3

Comparison of performance of failure diagnosis on datasets

Rotary table’s data [%] CWRU [%]
Time series image 76 95
STFT image 97 100