병렬 구조의 다중 필터 CNN을 이용한 골절합용 판의 불량 탐지 모델에 관한 연구

2.1 골절합용 판의 형상

골절 부위의 크기는 다양하지만 50 mm 미만이다. 골절합용판은 골절 부위를 고정시키기 위하여 가로, 세로의 길이가 길어야 한다. 수술 후 골절 부위의 이물감을 최소화하기 위하여 두께가 1 mm 미만인 골절합용 판이 자주 사용된다. 뼈들을 고정시키기 위한 나사의 나사산 지름이 2 mm이기 때문에 골절합용판의 구멍은 2 mm로 제작된다[7]. 본 연구에서는 가로, 세로의 길이가 50 mm, 두께가 0.5 mm, 구멍의 지름이 2 mm인 골절합용 판이 불량 탐지를 위한 시편으로 사용하였다. 골절합용 판의 치수를 Fig. 1에 도시하였다.

Fig. 1

Dimension of the bone plate

2.2 골절합용 판 데이터 수집

3D프린터(Single Plus, Cubicon, Korea)를 사용하여 골절합용판을 제작하였고 직접 촬영하여 이미지 데이터를 수집하였다. 골절합용 판 제작에 사용된 3D 프린터는 X, Y축 제어 정밀도가 6.25 μm이며 Z축 제어 정밀도는 1.25 μm이다. 가로, 세로의 길이가 50 mm, 두께가 0.5 mm, 구멍의 지름이 2 mm인 골절합용 판을 제작하기에 적합하다.

수집된 이미지는 정상적인 골절합용 판, 표면에 크랙이 발생한 골절합용 판, 구멍의 형상이 불량인 골절합용 판으로 3가지이다.

수집된 골절합용 판 이미지의 수량은 정상적인 골절합용 판 200 ea, 표면이 깨진 골절합용 판 400 ea, 구멍의 형상이 불량인 골절합용 판 400 ea으로 총 1,000 ea이다.

1,000 ea의 골절합용판 이미지 중에서 학습에 사용된 이미지는 600 ea이며 검증에 사용된 이미지는 200 ea이다. 평가에 사용된 이미지는 200 ea이다. 골절합용 판의 불량은 모든 부위에서 발생할 수 있으나 수집된 데이터를 확인한 결과 구멍의 변형은 골절합용 판의 중간에서 주로 발생하였으며, 크랙은 골절합용 판의 모서리 부분에서 주로 발생하였다.

수집된 이미지는 중복되지 않으며 모두 1,080 픽셀의 해상도를 갖는다.

Fig. 2(a)에 크랙이 발생한 골절합용 판을 도시하였고 Fig. 2(b)에 확대된 크랙을 도시하였다.

Fig. 2

Bone plate crack

골절합용 판의 크랙은 제작 중에 제품의 온도가 갑자기 상승하여 골절합용 판의 온도가 매우 높아진다. 냉각 과정에서 크랙이 발생하여 나타난다.

골절합용 판의 다른 불량으로는 구멍의 변형이 있다.

Figs. 3(a)에 변형된 구멍의 형상을 도시하였고 3(b)에 확대된 구멍 변형을 도시하였다.

Fig. 3

Plate hole deformation

구멍 형상의 불량은 노즐(Nozzle)이 이동하면서 베드(Bed)의 간격이 일시적으로 줄어들 때, 구멍이 찌그러지거나 직경이 작아지는 문제이다.

3.1 합성곱 신경망

합성곱 신경망은 이미지 분류에 특화된 딥러닝 알고리즘이다. 이미지를 색상 정보로 분석하여 사전에 정의된 클래스로 분류한다. 합성곱 신경망은 합성곱 층(Convolutional Layer), 풀링 층(Pooling Layer), 완전 연결 층(Fully Connected Layer), 활성화 함수로 구성되어 있다. 합성곱 층은 필터(Filter)를 이용하여 i×j 행렬의 내적(Dot Product)을 구하는 단계이다[8].

합성곱을 통해 행렬의 특징이 추출된다. 합성곱은 식(1)로 표현할 수 있다.

식(1)에서 I(i,j)는 입력되는 이미지의 데이터 행렬을 의미한다. h(p,q)는 합성곱을 수행할 필터를 의미한다. u(i,j)는 입력 이미지와 필터의 합성곱 연산을 통해 도출된 특징을 의미한다. 합성곱 층에서 출력된 결과는 풀링 층의 입력으로 사용된다. 풀링 층은 정해진 경계 영역내의 값들 중에서 평균이나 최대값만 선정하여 데이터의 양을 축소하는 과정이다. 이미지에 관련된 합성곱 신경망에서는 최대 풀링(Max Pooling)이 주로 사용된다[9].

Fig. 4에 최대 풀링으로 행렬의 최대값을 도출하는 과정을 도시하였다.

Fig. 4

Maximum value extraction using the max pooling

최대 풀링은 i×j 크기의 영역에서 최대값만 추출하는 방안이다. 최대 풀링은 식(2)로 표현할 수 있다.

식(2)에서 u(i,j)는 합성곱 층에서 추출된 특징을 의미한다. 추출된 특징 u(i,j)을 i×j 크기로 분할된 지역(Region)의 원소(Element) 중에서 최대값인 R_ij를 추출한다. 합성곱 연산과 최대 풀링 연산을 반복하면 최종적으로 행렬의 크기는 1×1이 된다.

완전연결층으로 인하여 모든 노드가 1줄로 연결되면 최종적으로 n×1의 1차원 형태로 행렬이 도출된다.

Fig. 5에 완전연결층의 구조를 도시하였다.

Fig. 5

The structure of the fully connected layer

완전연결층(Fully Connected Layer)은 한 노드의 출력이 다음 층의 모든 노드의 입력에 연결된 구조이다. 완전연결층은 식(3)으로 표현할 수 있다.

완전연결층에서 i번째 입력 노드는 x_i, 입력 노드의 수량은 N, i번째 입력 노드와 j번째 출력 노드를 연결하는 가중치는 W_ij, 편향은 b라고 표현할 수 있다. 완전연결층은 입력 노드 x_i과 가중치 W_ij의 곱에 편향 b를 더한 결과들의 총합을 의미한다.

완전연결층으로 출력된 결과는 활성화 함수를 사용하여 이미지가 어떤 항목에 속하는지 분류한다.

활성화 함수는 입력 신호를 학습에 이용될 수 있게 출력 신호로 처리하는 함수를 의미한다. 활성화 함수는 시그모이드(Sigmoid), 소프트맥스(Softmax), ReLU (Rectified Linear Unit)와 같이 여러 종류가 있다. 이미지 분류에서는 소프트맥스가 활성화 함수로 가장 많이 사용된다[10].

소프트맥스는 출력된 결과를 자연 상수 e의 지수로 취한 뒤, 함수의 합으로 나누는 함수이다.

소프트맥스는 식(4)로 표현할 수 있다.

식(4)에서 e^u_k는 k번째 출력인 u_k를 자연 상수e의 지수로 적용한 값이다. e^u_k를 e^u_j의 총합으로 나누었을 때의 확률이 z_k이다. 따라서 완전연결층을 통해 도출된 결과는 소프트맥스라는 활성화 함수에 의하여 e^u_k가 해당 항목일 확률 z_k로 출력된다.

3.2 모델 제작에 사용된 합성곱 신경망 알고리즘

합성곱 신경망 알고리즘은 AlexNet, GoogleNet, DenseNet 등 여러 종류가 있다. 그 중 신경망 층의 수량이 적어서 편집이 용이하며 연산 속도가 빠른 AlexNet을 모델 제작을 위한 알고리즘으로 사용하였다.

AlexNet은 5개의 합성곱 층과 3개의 완전 연결 층으로 구성되어 있다. 이미지 데이터가 입력되면 5회의 합성곱 연산이 수행되어 이미지의 특징이 추출된다. 3번째 합성곱 층은 다른 특징 맵들과 연결되어 있으며, 5번째 합성곱 연산이 수행된 후에 최대 풀링이 수행된다. 최대 풀링으로 출력된 결과는 2개의 완전 연결 층에 연결된다. 2번째 완전 연결 층은 소프트맥스라는 활성화 함수에 연결되어 결과를 분류한다.

3.3 병렬 구조의 합성곱 신경망

이미지에 있는 객체를 더욱 빠르고 정확하게 찾기 위해 CNN 알고리즘들을 병렬로 구성하는 연구가 수행되고 있다[11].

병렬 구조의 합성곱 신경망은 서로 다른 크기의 필터를 갖는 합성곱 신경망이 병렬로 연결된 구조이다.

2가지의 합성곱 신경망은 서로 다른 크기의 필터로 합성곱을 수행하여 이미지의 특징들을 추출한다. 추출된 특징들은 풀링 연산에 의하여 크기가 줄어든다. 합성곱과 풀링으로 추출된 특징은 완전연결층에 의하여 n×1 구조인 1차원 형태로 도출된다. 도출된 데이터는 활성화 함수에 의하여 가장 높은 확률인 항목들로 분류된다.

Fig. 6에 병렬형 합성곱 신경망의 구조를 도시하였다.

Fig. 6

The structure of the parallel type convolution neural network

본 연구에서는 병렬 구조의 합성곱 신경망을 이용하여 골절합용 판 표면의 크랙과 구멍 형상의 불량을 탐지하는 모델을 제작한다.

병렬 구조의 합성곱 신경망은 탐지하려는 불량 형태의 크기에 따라 필터의 크기도 다르게 설정된다. 서로 다른 2가지 필터에 골절합용 판 이미지가 입력되어 특징이 출력된다. 출력된 특징에 최대 풀링을 수행한다.

필터의 이동 간격인 스트라이드(Stride)와 패딩(Padding)의 값을 이미지의 크기에 맞춰 설정한다.

각각의 합성곱 신경망을 통해 출력된 값은 완전연결층에서 1차원의 행렬로 연결되어 활성화 함수의 입력으로 사용된다. 활성화 함수인 Softmax를 통해 출력된 값이 확률에 의하여 정상인지 불량인지 골절합용 판을 분류한다.

3.4 모델 제작

제안된 병렬 구조의 합성곱 신경망은 14×14, 8×8 크기의 필터로 구성된 합성곱 층과 추출된 특징에 2×2 크기의 최대 풀링을 수행하였다. 골절합용 판 표면의 크랙은 크기가 0.5부터 10 mm까지 다양하기 때문에 특징을 추출하기 위한 합성곱 층의 필터는 14×14로 설정하였다. 필터의 이동 간격인 스트라이드는 1로 설정하였고, 제로 패딩을 사용하여 이미지의 크기를 유지하였다. 풀링 층에서는 이미지를 2×2의 구역으로 나누어 최대값을 추출하였다. 기공 형상의 불량은 크기가 0.2부터 2 mm까지 존재한다. 기공 형상 불량의 특징을 추출하기 위해서 합성곱 층의 필터는 8×8로 설정하였다. 필터의 이동 간격인 스트라이드는 1로 설정하였고, 제로 패딩을 사용하여 이미지의 크기를 유지하였다. 풀링 층에서는 이미지를 2×2의 구역으로 나누어 최대값을 추출하였다.

2가지의 합성곱 신경망을 통해 출력된 값은 완전 연결층에서 1차원의 행렬로 연결되어 활성화 함수의 지수(Exponential)로 입력된다. 활성화 함수인 Softmax를 통해 출력된 값이 확률에 의하여 골절합용 판의 불량 여부를 판단한다.

모델의 학습 간격은 0.01로 설정하였으며 학습 횟수는 3,000회로 설정하였다. 학습 횟수에 따른 모델의 불량 탐지 성능을 비교하여 최종적인 불량 탐지 성능은 학습이 몇 회 수행되었을 때 도출되는지 확인하였다.

병렬 구조 합성곱 신경망 기반의 골절합용 판의 불량 탐지 모델을 제작하고 500장의 골절합용 판 이미지를 학습하기 위하여 고사양의 워크스테이션을 사용하였다. 워크스테이션의 CPU (Central Process Unit)는 AMD Ryzen 5 3600을 사용하였고 RAM (Random Access Memory)은 32 GB DRAM을 사용하였다. GPU (Graphic Process Unit)는 Nvidia Geforce RTX 2070 Super 8 GB을 사용하였다.

운영체제(Operating System)는 Window 10 64 bit를 사용하였다. 파이썬이라는 프로그래밍 언어를 사용하여 병렬 구조의 합성곱 신경망으로 골절합용 판의 불량을 탐지하는 모델을 제작하였다.

4.1 모델 검증 방안

골절합용 판의 불량 영역을 탐지 범위 정확도를 확인하기 위해 IoU (Intersection over Union)이라는 방안을 사용하였다. IoU는 예측된 사물의 영역과 실제 탐지된 사물의 영역이 얼마나 겹치는지를 수치로 나타낸 것이다.

IoU는 식(5)로 나타낼 수 있다.

Area of Overlap은 모델이 예측한 불량 영역과 실제 불량 영역이 겹치는 면적이다. Area of Union은 모델이 예측한 불량 영역과 실제 불량 영역의 전체 면적이다. IoU가 커지면 Area of Union은 작아지고 Area of Overlap은 커진다. 반대로 IoU가 작아지면 Area of Union은 커지고 Area of Overlap은 작아진다.

IoU가 1에 가까울수록 탐지 영역 정확도가 100%에 가깝다[12].

Fig. 7에 예측 영역과 탐지 영역에 대한 IoU 수치를 도시하였다.

Fig. 7

IoU values of prediction area and detection area

골절합용 판은 1 mm 미만의 작은 결함도 불량으로 취급되어야 하기 때문에 기존의 기준보다 높은 정확도가 요구된다. 따라서 예측된 영역과 탐지된 영역이 일치한다는 기준을 0.6에서 0.8로 설정하였다.

본 논문에서는 골절합용 판의 실제 불량 영역과 예측된 불량 영역의 IoU가 0.8 이상일 경우에 골절합용 판의 불량 탐지가 참이라고 설정하였다. 정상과 불량 골절합용 판의 예측과 실제 결과를 비교하기 위해 혼동 행렬(Confusion Matrix)를 사용하였다.

혼동 행렬은 이진 분류 모델의 예측과 실제를 분석하기 위해 사용되는 행렬이다. 혼동 행렬은 참양, 거짓양, 참음, 거짓음으로 나뉜다. 참양은 예측된 불량이 실제 불량일 경우를 의미하며 참음은 불량이 아니라고 예측하였을 때, 실제로 불량이 아닌 경우를 의미한다. 거짓양은 불량이라고 예측하였지만 실제로는 불량이 아닌 경우를 의미하며 거짓음은 불량이 아니라고 예측하였지만 실제로는 불량일 경우를 의미한다.

정밀도는 불량이라고 예측한 골절합용 판 이미지들 중에서 실제로 불량인 이미지의 수량을 의미한다. 재현율은 실제 불량 골절합용 판 이미지 중에서 불량 골절합용 판이라고 예측한 수량을 의미한다.

예측과 실제 탐지를 나타내는 혼동 행렬을 Table 1에 나타내었다.

Table 1

The confusion matrix

혼동 행렬을 이용하여 정밀도와 재현율을 도출할 수 있다. 정밀도는 모델이 탐지한 불량 골절합용 판 이미지 중에서 실제로 불량인 이미지의 비율로 식(6)로 표현할 수 있다.

재현율은 전체의 불량 골절합용 판 이미지 중에서 모델이 정확하게 탐지한 불량 골절합용 판 이미지의 비율이다. 재현율은 식(7)으로 표현할 수 있다.

정밀도만 사용하여 모델의 성능을 평가한다면 불량이 아닌 이미지에 대한 확률이 반영되지 않는 문제가 발생한다. 반대로 재현율만 사용하여 모델의 성능을 평가한다면 불량인 이미지에 대한 확률이 반영되지 않는 문제가 발생한다. 정확도, 재현율만 사용하였을 때의 문제를 해결하기 위해 F1 스코어(F1 Score)를 사용한다.

F1 스코어는 정확도와 재현율의 조화 평균으로 객체 탐지 모델의 성능을 정량적으로 표현하기 위한 지표이다.

F1 스코어는 식(8)로 표현할 수 있다.

F1 스코어는 0에서 1 사이의 값을 갖는다. F1 스코어가 1에 가까울수록 모델의 탐지 성능은 100%에 가깝다[13].

F1 스코어는 딥러닝 기반의 객체 탐지 성능을 정량적으로 나타내기 위해 사용되는 지표이다. 딥러닝 기반의 객체 탐지, 분류 연구에서 모델의 성능을 정량적으로 확인하기 위해 많이 사용된다.

본 연구에서는 F1 스코어를 사용하여 모델의 불량 탐지 성능을 정량적으로 확인하였다. F1 스코어는 정밀도와 재현율의 조화 평균으로 정밀도와 재현율이 모두 높을수록 100%에 가까운 값이 된다. 둘 중 하나라도 낮을 경우에는 F1 스코어도 낮아진다.

본 연구에서 제안한 모델의 불량 탐지 정확도를 예로 들면 정밀도가 99%이고 재현율이 97.1%일 때의 F1 스코어는 98.4%가 되는 것을 확인하였다. 따라서 모델의 불량 탐지 성능은 98.4%인 것을 확인할 수 있다.

4.2 검증 결과

골절합용 판의 평가 이미지들을 이용하여 불량 탐지 모델의 성능을 평가하였다. 학습 횟수가 커질수록 모델의 불량 탐지 성능이 높아짐을 확인하였다. 반면에 학습 횟수가 커질수록 모델의 불량 탐지에 소요되는 시간이 감소되는 것을 확인하였다.

Fig. 8에 학습 횟수에 따른 골절합용 판 불량 탐지 모델의 성능을 도시하였다.

Fig. 8

Defect detection accuracy of the model according to learning quantity

그래프의 x축은 불량 탐지 모델의 학습 횟수를 의미하며 y축은 불량 탐지 정확도를 의미한다[14].

모델의 학습 횟수가 1,000회일 때, 불량 탐지 성능은 90%임을 확인하였다. 학습 횟수가 2,000회 이상일 때, 모델의 불량 탐지 성능은 95% 이상인 것을 확인하였고 학습 횟수가 2,600회일 때, 모델의 최종적인 불량 탐지 성능은 98.4%인 것을 확인하였다.

기존 단일 합성곱 신경망 기반의 불량 탐지 모델은 골절합용 판의 불량을 탐지하기 위해 1초가 소요되었지만 병렬 구조의 불량 탐지 모델은 불량을 탐지하기 위해 0.2초가 소요됨을 확인하였다.

병렬 구조의 불량 탐지 모델은 학습 횟수가 증가할수록 불량 탐지에 소요되는 시간은 1.41초에서 0.21초로 감소하는 것을 확인하였다.

Fig. 9에 학습 횟수에 따른 병렬 구조의 모델이 골절합용 판의 불량을 탐지하기 위해 소요되는 시간을 도시하였다.

Fig. 9

Defect detection time of the model according to learning quantity

그래프의 x축은 불량 탐지 모델의 학습 횟수를 의미하며 y축은 불량 탐지에 소요되는 시간을 의미한다.

병렬 합성곱 신경망 기반 불량 탐지 모델의 탐지 정확도는 98.4%임을 확인하였고 불량 탐지에 소요되는 시간은 0.2초임을 확인하였다. Table 2에 단일 합성곱 신경망 모델과 병렬 합성곱 신경망 모델의 성능을 나타내었다.

Table 2

The performance comparison of parallel type model and single type model

병렬 합성곱 신경망 기반 불량 탐지 모델의 탐지 정확도는 98.4%임을 확인하였고 불량 탐지에 소요되는 시간은 0.2초임을 확인하였다. Table 2에 단일 합성곱 신경망 모델과 병렬 합성곱 신경망 모델의 성능을 나타내었다.