딥러닝 기반 제직준비 공정 실시간 고장 진단 기법 검증
Copyright © The Korean Society for Precision Engineering
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Abstract
In this study, we developed a deep learning-based real-time fault diagnosis system to automate the weaving preparation process in textile manufacturing. By analyzing typical faults such as shaft eccentricity and rotational imbalance, we designed a data-driven fault diagnosis algorithm. We utilized tension data from both normal and faulty states to implement AI-based diagnostic models, including 1D CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), and LSTM-AE (Long Short-Term Memory Autoencoder). These models enable real-time fault classification, followed by a comparative performance analysis. The LSTM-AE model achieved the best performance, with a classification accuracy of 99-100% for severe faults, such as 1.5 mm eccentricity and 100 or 150 g rotation imbalance, and 92.2% for minor faults like 1 mm eccentricity. This accuracy was optimized through threshold adjustments based on ROC curve analysis to select an optimal threshold. Building on these findings, we developed a GUI (Graphical User Interface) system capable of realtime fault diagnosis using TCP/IP (Transmission Control Protocol/Internet Protocol) communication between Python and LabVIEW. The results of this study are expected to accelerate the smartization of the weaving preparation process, contributing to improved textile quality and reduced defect rates, while also serving as a model for automation in other sectors.
Keywords:
Weaving preparation process, Fault diagnosis, Artificial intelligence, Environment recognition, Measurement system키워드:
제직준비 공정, 고장 진단, 인공지능, 환경인식, 계측 시스템1. 서론
최근 고부가가치 섬유 기반의 제품 수요가 늘어나면서 고내열성, 고강도의 특성을 가진 고부가 가치 섬유를 다룰 수 있는 기술력의 중요성이 부각되고 있다. 이러한 수요에 따라 섬유의 품질을 향상시키기 위한 고정밀, 고응답 특성을 가진 제어 기술과 고장 진단 시스템의 도입이 필요하다. 하지만 Fig. 1의 2023년 섬유 패션산업 인력현황 보고서에 따르면 열악한 작업환경으로 인해 매년 고령 섬유산업 종사자 비율이 증가하고 노동자 수는 지속적으로 감소하고 있다[1]. 또한, 국내 공정 작업자의 경험에 의한 수동 제어 방식을 사용하고 있다. 이러한 방식을 사용할 경우 장력을 일정하게 유지하지 못하는 문제가 발생하고, 원사의 장력이 일정하게 유지되지 않으면 원사의 품질이 저하되어 제직 공정 중 제품의 불량률이 크게 늘어나 고부가 가치 섬유 생산수율이 감소한다. 반면 해외 섬유업종의 선진사는 공정 중 원사의 장력을 최신 제어 기법을 통해 관리함으로써 문제를 해결했다. Fig. 2는 섬유업종의 대표 선진사인 Texmer사의 제직 준비 시스템으로, 원사의 장력을 정밀하게 제어하고 공정 데이터를 실시간으로 모니터링하는 자동화 시스템을 적용한 고부가가치 섬유 생산 시스템을 갖추었다[2].
Age distribution of workers in the textile industry [1] (Adapted from Ref. 1 on the basis of OA)
Automated weaving preparation system of Texmer [2] (Adapted from Ref. 2 on the basis of OA)
이에 따라 국내 섬유산업 또한 기존의 수동 제어 방식을 벗어나 스마트화 된 제직준비 공정을 구축이 필수적이다. 하지만 불량률 및 노동력 문제를 해결함과 동시에 고부가 가치 섬유 제품의 생산을 할 수 있는 기술력을 갖추고자 하는 연구를 수행하고 있지만 실제 적용 사례를 찾아보기 어렵다. 본 논문에서는 생산 기술력을 확보하기 위해 장력을 제어하는 시스템을 적용하고, 이후 발생하는 고장의 유형을 분석하고, 딥러닝을 적용해 학습하여 최적의 고장 진단 기법을 검증했다.
2. 크릴 시스템
제직준비 공정은 제직에 필요한 경사나 위사를 알맞은 상태로 준비하도록 하는 시스템이며, 크릴 시스템은 제직준비 공정에 사용되는 정경공정의 섬유 기계이다. 크릴 시스템은 Fig. 3과 같이 원사 크릴대, 이송용 롤러, 와인더로 구성 되어있으며 원사 크릴대의 보빈에서 풀리는 다수의 원사를 이송용 롤러를 거쳐 하나의 큰 와인더에 감는 역할을 수행한다[3]. 본문에서는 실제 제직준비 공정을 소형화한 프로토타입 테스트베드를 설계하여 고장 유형에 대한 분석 및 고장 요소 실증 등 고장 진단 시스템을 구현하고 고장 진단 알고리즘을 최적화했다.
Configuration of creel system [3] (Adapted from Ref. 3 on the basis of OA)
2.1 크릴 시스템 테스트베드
Fig. 4(a)는 제직준비 공정을 소형화한 프로토타입 테스트베드를 3차원 설계 도구인 CATIA를 이용해 3D 모델링한 것이다. 그리고 이를 실제로 제작하여 Fig. 4(b)와 같은 실제 테스트베드를 구축했다. 테스트베드는 크릴 시스템에서 원사 크릴대의 역할을 하는 Unwinder, 원사를 이송하는 역할을 하는 장력 유지 장치, 원사의 장력을 측정하기 위한 센서, 원사가 감기는 빔 역할을 대체할 Winder로 구성했다. Unwinder와 Winder의 경우 장력을 제어하기 위해 모터가 부착되어 있으며 Winder의 경우 속도제어를 통해 60RPM의 일정한 출사속도를 유지하도록 하고, Unwinder는 토크제어 하여 원사의 피드백을 바탕으로 목표 장력을 달성하도록 했다.
Prototype testbed of creel system
제어 시스템과 계측 시스템은 Fig. 5와 같은 하드웨어로 구성되어 있으며, 상위제어기는 SBC (Single Board Computer)인 Lattepanda를 사용하였고 하위 제어기로는 STM32 사의 Nucleo-F334R8, 장력 측정 센서는 Montalvo 사의 XBS Type을 사용했다. 그리고 산업용 모터는 LS사의 APMC-FBL04AMK 서보 모터와 L7S 모터 드라이버를 사용했다. 그리고 DAQ를 이용해 장력을 모니터링할 수 있는 시스템을 구성하여 제어뿐만 아니라 데이터를 실시간으로 계측할 수 있도록 했다. 제어 시스템은 PI 제어기를 사용하였으며 Fig. 6의 구조와 같이 시스템에서 장력을 입력 받고 토크제어를 통해 목표 장력을 출력할 수 있도록 구성했다.
Configuration of tension control, measurement system
Block diagram of PI control applied in the system
2.2 고장 진단 목표물 분석
현장에서 제직준비 공정 시 Unwinder에서 보빈의 무게 변화, 축 뒤틀림에 의한 회전 불균형 등의 문제가 발생하며, 이 경우 장력이 일정하게 유지되지 않아 제품의 품질에 영향을 미칠 수 있다. 본문에서는 제어 시스템을 적용하더라도 목표 장력 값과 30% 이상 차이가 발생하는 요소를 고장으로 정의했다.
고장 요소는 실제 공정이 오랜 시간동안 가동되었을 때 가장 빈번하게 발생하는 회전축의 변형으로 선정했다. 회전축의 변형 중에서 가장 발생 빈도가 높은 것이 축의 편심과 회전 불균형이며, 발생 정도에 따른 데이터 변화와 분류율을 확인하기 위해 축의 편심 2가지, 회전 불균형 2가지를 고장 진단 대상으로 선정하였다. 먼저 Figs. 7(b)와 7(e)는 회전축에 편심을 적용한 3D 모델 및 제작품으로, 회전축에서 1, 1.5 mm 틀어진 형상으로 제작했다. 그리고, Figs. 7(c)과 7(f)는 회전축에 볼트와 너트의 양을 변경하며 회전 불균형을 유발하도록 한 3D 모델 및 제작품이다. 볼트는 4개를 사용하며, 100 g의 경우 볼트당 너트 2개, 150 g의 경우 볼트당 너트 3개를 사용한 불균형을 가진 회전축을 구성하여 고장 진단 실험을 진행했다.
3. 고장 진단 알고리즘
3.1 데이터 수집
데이터 수집은 고장 진단에 적용할 알고리즘을 학습하는 데 필수적이다. 수집된 데이터의 품질과 적절성은 모델의 성능에 직접적으로 영향을 미친다. 본문에서는 측정 주기, 측정 시간 등 데이터의 특성이 알고리즘 학습에 적합하도록 설정하여 수집했다. Fig. 8은 각각의 축을 통해 추출한 데이터이며 사용한 변형이 없는 기본 축, 편심 축, 회전 불균형 축으로 구성했다. DAQ 보드인 NI USB-6001을 통해 수집하였으며, Fig. 9와 같이 NI LabVIEW를 통해 데이터를 저장할 수 있도록 구성했다. 측정한 데이터를 저장하는 주기는 50 ms으로 설정했으며 실험 시간은 10분으로 설정했고, 측정 데이터 샘플 개수는 12,000개로 각각 5세트를 수집하여 고장 진단에 적용했다.
Configuration of normal, abnormal shafts
Data types of rotation imbalance, eccentric, normal shaft
LabVIEW structure for data acquisition
3.2 데이터 전처리
인공지능 알고리즘을 이용한 학습을 시행할 때 데이터에 포함된 노이즈, 이상치, 비정규화된 특성들은 알고리즘의 성능을 저하시킬 수 있다 본 논문에서는 이를 해결하기 위해 데이터 전처리 과정으로 데이터를 정제하고 알고리즘 학습에 적합한 형태로 변환하였다.
먼저, 노이즈 제거나 데이터 평탄화를 위한 기법인 이동 평균 필터를 적용했다. 필터를 적용하기 위해 Window Size, Padding 등 파라미터 설정이 필요하며, Window의 크기를 유지하기 위해 데이터의 앞뒤에 0을 추가하여 필터 적용에 용이하도록 하는 Zero Padding을 적용하고 Window Size를 50으로 설정하여 데이터를 전처리를 적용했다. 또한, 데이터 정규화 과정을 적용하여 데이터 분포를 일정하게 유지하고 학습의 정확도를 향상시켰다.
본문에서는 Fig. 10과 같이 데이터 특성 간의 분포를 동일하게 맞추는 용도로 사용되는 Standard Scaler 기법을 적용했다. Figs. 10(a)는 8(a)인 Rotation Imbalance 100 g축의 데이터로, 전처리 과정을 거치지 않은 장력 데이터이며, Fig. 10(b)는 Standard Scaler 전처리 기법이 적용되어 평균이 0으로 조정되고 스케일링이 적용된 장력 데이터이다[4,5].
Normalization applied to tension data
3.3 고장 진단 학습 알고리즘
크릴 시스템에 고장 진단을 적용하기 위해 인공지능 학습 알고리즘 선정이 필수적이다. 수집한 데이터가 시계열의 특성을 가지기 때문에 인공지능 알고리즘 중에서도 시계열 데이터를 사용하는 1D CNN, RNN, LSTM-AE를 학습 알고리즘으로 선정했다. 학습 데이터에 맞게 모델을 구성해 정상과 고장에 대한 분류 성능이 가장 뛰어난 알고리즘을 선정하기 위해 최적화 및 검증 실험을 진행했다.
1D CNN은 Fig. 11과 같이 1차원 신호를 처리하는 인공 신경망이며, 본 연구에서는 Table 1과 같이 2개의 합성곱 레이어와 각각의 ReLU 활성화 함수 및 Max Pooling 레이어로 구성하여 정상과 고장을 분류하도록 했다[6]. 그리고 Softmax 함수를 이용해 최종적으로 분류하는 구조로 모델을 설계했다. 모델 학습을 위한 최적화 기법으로 학습 초기에 빠르게 수렴하고 안정적인 학습을 할 수 있도록 하는 적응적 학습률을 가진 Adam Optimizer를 사용했다.
Structure of 1D CNN layer [6] (Adapted from Ref. 6 on the basis of OA)
Configuration of 1D CNN model and parameters
RNN은 Fig. 12와 같이 이전 입력 정보를 내부 상태에 저장하여 현재 입력과 함께 처리할 수 있는 구조를 가지고 있으며, 본 연구에서는 Table 2와 같이 한 층의 RNN Layer와 ReLU 활성화 함수로 구성하고 Softmax 함수를 이용해 정상과 고장을 분류하여 출력하는 모델을 설계했다[7]. 모델 학습을 위한 최적화 기법으로 Adam Optimizer를 사용했고, 학습 중 검증 손실(Validation Loss)이 일정 횟수동안 개선되지 않을 때 학습을 조기에 종료하는 Early Stopping 기법을 적용했다.
Structure of RNN layer [7] (Adapted from Ref. 7 on the basis of OA)
Configuration of RNN model and parameters
LSTM-AE은 Fig. 13과 같이 LSTM모델을 통해 학습하고 Autoencoder의 재구성 오차(Reconstructed Data)를 이용해 진단 및 분류하며 금융 데이터, 산업 데이터 등의 이상 탐지에 사용된다[8]. 본 연구의 경우Table 3과 같이 Encoder의 LSTM Layer 2개, ReLU 활성화 함수, Repeat Vector 기반의 차원 축소 기능을 통해 Latent Space에 특징을 저장했다. 그리고 Decoder는 LSTM Layer 2개와 ReLU 활성화 함수로 구성하여 저장된 특징을 최대화하고 차원을 확장하도록 했다. 모델 학습을 위한 최적화 기법으로 학습 초기에 빠르게 수렴하고 안정적인 학습을 할 수 있도록 하는 적응적 학습률을 가진 Adam Optimizer를 사용했다.
Structure of LSTM-AE layer [8] (Adapted from Ref. 8 on the basis of OA)
Configuration of LSTM-AE model and parameters
LSTM-AE의 분류 성능을 판단하기 전 정상과 고장을 분류하기 위한 임계값 설정이 필수적이다. 이를 위해 먼저 학습에 사용되지 않은 정상데이터와 고장데이터를 각각 임의의 테스트 데이터로 적용해 Fig. 14와 같이 MSE (Mean Square Error) 데이터 포인트로 나타냈다. MSE 데이터 분포를 이용해 임계값을 설정할 수 있으며, 본문에서는 분석 기법으로 이진 분류 모델 평가 기법인 ROC (Receiver Operating Characteristic) curve 기법을 사용했다. 해당 기법은 민감도를 나타내는 TPR(True Positive Rate)을 y축으로, 1-특이도를 나타내는 FPR(False Positive Rate)를 x축으로 하는 그래프를 이용해 AUC(Area Under the Curve) 값을 출력하여 AUC 값이 1에 가까울 수록 모델의 성능이 우수함을 나타낸다[8-10].
MSE distribution of normal, abnormal data points
4. 실험을 통한 학습 기법 검증
4.1 1D CNN 분류 성능 테스트
1. CNN 알고리즘을 이용한 학습은 콜백 함수인 Early Stopping에 의해 학습 Epoch 18회 진행되었으며, Fig. 15(a)와 같이 Loss = 0.0835, Validation Loss = 0.0986, Accuracy = 0.9639, Test Accuracy = 0.9633의 학습 결과를 보인다. Fig. 15(b)는 테스트 데이터를 바탕으로 정상과 4가지 데이터와 편심, 회전 불균형 중 고장 발생 정도가 큰 편심 1.5 mm, 회전 불균형 150 g에 대해서의 분류율은 98.5-100%로 분류 정확도가 높다. 하지만 고장 발생 정도가 작은 편심 1 mm, 회전 불균형 100 g의 경우는 89-95%로 분류율이 높지 않은 것을 확인할 수 있다.
1D CNN learning results
4.2 RNN 분류 성능 테스트
RNN 알고리즘을 이용한 학습은 콜백 함수인 Early Stopping에 의해 학습 Epoch 15회 진행되었으며, Fig. 16(a)와 같이 Loss = 0.1506, Validation Loss = 0.1812, Accuracy = 0.9417, Test Accuracy = 0.9335의 학습 결과를 보인다. 테스트 데이터를 바탕으로 정상과 4가지 고장상황에 대한 분류 결과는Fig. 16(b)와 같다. 정상 데이터와 편심, 회전 불균형 중 고장 발생 정도가 큰 편심 1.5 mm, 회전 불균형 150 g에 대해서의 분류율은 98-99.8%로 분류 정확도가 높다. 하지만 고장 발생 정도가 작은 편심 1 mm, 회전 불균형 100g의 경우는 88.6-88.3%로 1D CNN보다 낮은 분류율을 보인다.
RNN learning results
4.3 LSTM-AE 분류 성능 테스트
LSTM-AE의 분류 성능을 판단하기 위한 방법으로 테스트 데이터의 MSE 데이터 포인트에 ROC Curve 기법을 적용했다. 이를 통해 얻은 데이터의 분석 결과는 Fig. 17과 같다. 회전 불균형 100과 150g, 편심 1, 1.5 mm에 대해서는 AUC: 0.99-1이라는 결과를 도출했다. ROC Curve의 FPR: 1인 값을 이용해 분류를 위한 최적 임계값을 Table 4와 같이 추출하였고, 이를 적용한 결과는 Fig. 18의 Confusion Matrix와 같다. 회전 불균형 100, 150 g과 편심 1.5 mm의 경우 98-100%의 높은 분류율을 보이지만 편심 1 mm은 92.2%로 낮은 분류율을 보이는 것을 확인했다.
ROC curve analysis results of normal, abnormal data
Results after applying each optimal threshold
Optimal thresholds for each element (ROC FPR = 1)
임계값의 경우 정상과 고장을 분류하기 위한 1개의 값만 설정 할 수 있다. 이 경우 편심 1 mm의 임계값을 반영한다면 정상 데이터를 고장으로 판별할 가능성이 높다. 그래서 편심 1 mm 데이터를 정상과 고장 중간점에 위치한 천이구간으로 분류하고, 다음 최적값인 0.18을 분류 임계값으로 선정했다. Fig. 19는 최적 임계값을 적용한 분류 결과이다. 테스트 데이터를 이용해 정상과 고장을 각각 분류한 결과 회전 불균형 150 g는 100%, 회전 불균형 100 g와 편심 1.5 mm는 99%라는 분류 결과를 도출했다. 분류 실험 결과 1D CNN과 RNN의 성능보다 LSTM-AE의 분류 성능 결과가 우수하다는 것을 확인했다.
Classification results using selected threshold (0.18)
4.4 실시간 분류 성능 검증
실험을 통해 얻은 결과를 검증하기 위해 실시간 데이터를 적용한 고장 진단 시스템을 구축했다. 고장 진단 S/W는 LabVIEW를 이용해 구성했으며, 상태 알람을 통해 정상과 고장을 확인할 수 있도록 했다.
실시간 분류 성능 검증을 위해 GUI기반 모니터링 시스템인 LabVIEW와 고장 진단 모델을 구현한 서버와의 통신이 필요하다. 본문에서는 Fig. 20과 같이 TCP/IP를 이용해 데이터를 송수신했고, 분류 결과를 정상: 0, 고장: 1 로 변환하여 LabVIEW로 송신하도록 하는 S/W 알고리즘을 구축했다. Fig. 21은 해당 알고리즘을 적용한 LabVIEW 데이터 모니터링 시스템으로 성능 검증 결과 정상상태의 경우 녹색 알람, 고장 상태일 경우 적색 알람이 발생하는 것을 확인했다.
Configuration of the algorithm for real-time monitoring
Real-time monitoring system using LabVIEW
5. 결론
본 연구에서는 크릴 시스템의 고장 유형을 분석하고 딥러닝 학습으로 최적의 고장 진단 기법을 적용하여 제직준비 공정 자동화 시스템을 개발했다. 실제 공정 데이터와 유사한 데이터를 얻기 위해 Unwinder, 장력 유지 장치, 장력 측정 장치, Winder 형식으로 구성된 프로토타입 크릴 시스템을 설계하고 제작했다. 현장에서 발생하는 가장 대표적인 고장 요소인 축을 편심, 회전 불균형 형태로 제작했다. 정상 축과 고장 축에 대한 장력 데이터 변화를 기준으로 정상 1가지 경우와 고장 4가지 경우(편심 1.5, 편심 1 mm, 회전 불균형 100, 회전 불균형 200 g)를 분류하며, 실시간 판별을 위해 AI기반 고장 진단 모델을 선정했다. 고장 진단 모델로 시계열 데이터 기반의 학습모델인 1D-CNN, RNN, LSTM-AE을 선정하고, 모델 파라미터를 최적화하여 성능을 분석했다. 1D-CNN, RNN의 경우 정상, 편심 1.5 mm, 회전 불균형 요소에 대해 98-99%의 분류 정확도를 보이지만, 편심 1 mm의 경우 88%라는 낮은 분류 정확도 결과를 나타냈다. LSTM-AE는 분석 기법 중 ROC Curve 기법을 적용하여 분류를 위한 최적 임계값을 설정했고, 임계값으로 0.18을 적용한 결과 정상, 편심 1.5 mm, 회전 불균형 요소에 대해 100%의 분류 정확도를 보이며, 편심 1 mm의 경우 92.2%라는 결과를 도출했다. 가장 분류 성능이 좋은 LSTM-AE모델을 적용한 고장 진단 시스템을 Python을 이용해 구축했으며, Python과 LabVIEW의 TCP/IP 통신 프로그램을 구축하여 실시간 고장 진단할 수 있는 GUI를 구현했다. 추후 연구계획은 테스트 베드가 아닌 실제 제직준비 공정에 적용하기 위해 데이터를 수집하고 높은 분류 성능을 가진 AI모델을 적용하여 분류 성능을 보완할 계획이다. 제직준비 공정뿐만 아니라 제조업 등 자동화 시스템 구축이 요구되는 다양한 분야에 적용 가능할 것으로 기대된다.
Acknowledgments
이 연구는 국립금오공과대학교 대학 연구과제비로 지원되었음(2022-2024).
References
- Korea Federation of Textile Industries, Survey report on the workforce status of the textile and fashion industry, 2023. http://www.koreafashion.org/news/relevant_notice/read.jsp?reqPageNo=3&no=4038
- Texmer GmbH & Co, Unsere gatter our creels, https://www.texmer.de/en/solutionsproducts/creel/our-creels-flip-catalogue
- Simco-Ion, Industrial textile. https://www.simco-ion.co.uk/industry-solutions/textiles-industry/creels/
-
Hasan, M. J., Sohaib, M., Kim, J.-M., (2021), An explainable ai- based fault diagnosis model for bearings, Sensors, 21(12), 4070.
[https://doi.org/10.3390/s21124070]
- Jeon, S., Park, C., Lee, G., Kim, S., Koo, B., (2022), Threshold decision method for anomaly detection using LSTM autoencoder, Journal of the Korea Institute of Information Technology, 20(1), 159-169.
-
Mitiche, I., Nesbitt, A., Conner, S., Boreham, P., Morison, G., (2020), 1D-CNN based real-time fault detection system for power asset diagnostics, IET Generation, Transmission & Distribution, 14(24), 5766-5773.
[https://doi.org/10.1049/iet-gtd.2020.0773]
-
Wei, Y., Jang-Jaccard, J., Xu, W., Sabrina, F., Camtepe, S., Boulic, M., (2023), LSTM-autoencoder-based anomaly detection for indoor air quality time-series data, IEEE Sensors Journal, 23(4), 3787-3800.
[https://doi.org/10.1109/JSEN.2022.3230361]
-
Nguyen, H. D., Tran, K. P., Thomassey, S., Hamad, M., (2021), Forecasting and anomaly detection approaches using LSTM and LSTM autoencoder techniques with the applications in supply chain management, International Journal of Information Management, 57, 102282.
[https://doi.org/10.1016/j.ijinfomgt.2020.102282]
- Nguyen, V. Q., Van Ma, L., Kim, J., (2018), LSTM-based anomaly detection on big data for smart factory monitoring, Journal of Digital Contents Society, 19(4), 789-799.
- Lee, M.-S., Ahn, H., (2018), A time series graph based convolutional neural network model for effective input variable pattern learning: Application to the prediction of stock market, Journal of Intelligence and Information Systems, 24(1), 167-181.
M.S. candidate in the Department of Mechanical Engineering, Kumoh National Institute of Technology. His research interest is automatic control, fault diagnosis
E-mail: E-mail: rlaalswo0185@naver.com
M.S. candidate in the Department of Mechanical Engineering, Kumoh National Institute of Technology. His research interest is automatic control
E-mail: E-mail: awh007@naver.com
Professor in the School of Mechanical System Engineering, Kumoh National Institute of Technology. His research interests include robotics, mechatronics, intelligent control and reinforcement learning
E-mail: E-mail: bschu@kumoh.ac.kr