심층학습 기법을 이용한 종이용기 자동 검사

2.1 영상 취득을 위한 광학 구조

종이용기는 일반적으로 원형 타원 형태를 가지며 상부에서 종이용기 내부를 검사하는 장치, 하부 밑면을 검사하는 장치, 그리고 측면을 검사하는 장치로 나누어 진다. 본 연구에서는 상하부의 결함을 검사하는 방법에 주안점을 둔다. Fig. 1은 종이용기 상부 또는 하부의 표면 영상을 취득하기 위한 광학 구조를 나타낸다. Area CCD 카메라와 광원으로 원형 LED 조명을 사용한다.³ 대상 표면에 광원이 균일하게 분포하게 하기 위하여 카메라와 광원을 동축(Coaxial)으로 설계하고 확산(Diffused) 방식의 광원 조사 방식을 사용하였다. 종이 용기의 상부에서 영상을 취득할 때 종이 용기의 깊이와 경사로 인해 내부 측면을 관찰을 하기 어렵다. 이를 해결하기 위하여 상부 측정을 위하여 어안 렌즈(Fish-Eye) 렌즈를 사용하여 최대한 내부 측면 면적을 많이 확보하도록 하였다. Fig. 2에 이러한 차이점을 나타내었다.

Fig. 1

Optical instruments of paper cups inspection with area CCD camera and diffused LED light

Fig. 2

Inner image of paper cup (Left: General lens, Right: Fish-Eye lens)

2.2 종이 용기 결함 유형

종이 용기 결함은 외부 결함과 성형 불량으로 나눈다. 외부 결함은 외부 불순물이 종이 용기에 부착되어 발생되며 대표적으로 이물(Dirty) 결함과 오염(Pollution) 등이 있다. 반면에 성형 불량은 제조 공정 과정에서 생기는 결함으로 종이 용기의 상부의 말린 부위에 생기는 결함인 입술 불량(Bad Curl), 또는 공정 중에 종이의 구겨짐에 의해 생기는 구김(Wrinkle) 등이 있다. Fig. 3에 대표적인 종이용기 불량 유형인 이물, 입술 불량(Bad Curl), 얼룩(Pollution), 구김(Wrinkle)에 대한 샘플 영상을 나타내었다. 종이 용기는 식음에 직접적으로 관여하기 때문에 약간의 이물이라도 사용자 불만 제기의 소지가 있어서 제품 생산 과정에서 필수적으로 검사되고 제거되어야 한다.

Fig. 3

Defects of paper cups (Top left: Dirty, Top right: Bad curl, Bottom left: Pollution, Bottom right: Wrinkle)

2.3 심층 학습 분류기

본 연구에서 종이 용기의 결함을 검출 및 분류하기 위하여 심층 학습 기법을 사용한다. 일반적으로 결함 검사 필드에서 결함 검출과 분류 프로세스는 분리되어 진행된다. Fig. 4는 이러한 기존의 검사기에 대한 검사 진행 방법을 나타낸다. 먼저 주어진 영상에서 검출 알고리즘을 수행하고 이를 통해서 이진 영상을 얻는다. 이진 영상은 검출된 결함 영역에 대한 마스크(Mask) 역할을 한다. 다음으로 이진 영상과 원 영상에서 사전에 선정된(Hand-Crafted) 특징 값을 추출한다. 추출된 특징 값을 입력 벡터로 사용하여 분류기를 통해서 결함 분류를 수행한다.⁴ 이러한 과정 중에서 가장 민감한 부분이 특징 값 추출 부분이며 해당 결함 유형들에 대해서 가장 분별력이 좋은 특징 값들을 추출해야만 분류 결과가 향상된다. 경우에 따라서 분류에 효과적인 특징 값을 선별하기 위하여 분류기 입력으로 사용하기 전에 특징 선별(Feature Selection)⁵ 과정을 거치기도 한다.

Fig. 4

Inspection procedure of conventional system

본 논문에서는 검출과 분류를 심층학습(Deep Learning) 기법을 사용하여 단일 과정으로 수행한다. Fig. 5는 기존 검사 처리 모델보다 단순화되고 통합된 단일 프로세스(End-to-End) 검사기 모델을 도식화해서 나타낸다. 심층 학습 모델을 사용함으로써 기존 검사 모델의 검출, 특징 추출, 분류 과정을 심층 학습기에 의한 단일 과정으로 대체가 가능하다. 본 논문에서 사용한 심층 학습 분류기는 VGG16 모델⁶을 축소한 형태의 분류기로서 Fig. 6에 그 구조를 나타내었다. VGG 심층학습 모델은 3 × 3의 작은 필터 커널(Kernel)을 사용해서 대규모 영상 내의 대상 인식(Object Recognition) 분야에서 탁월한 성능을 보여주고 있다.

Fig. 5

The proposed inspection procedure for paper cups

Fig. 6

VGG-Like model for paper cups inspection (Conv: Convolutional layer, Fc: Fully connected layer)

본 연구에서는 VGG 모델을 기반으로 총 5개의 합성곱층(Convolution Layer)을 갖고 있는 축소된 VGG 모델을 사용하였다. 출력층(Activation Layer)은 ReLU (Rectified Linear Unit) 타입의 출력을 한다. 풀링층(Pooling Layer)은 2 × 2 최대치 풀링(Maximum Pooling)을 사용한다. 마지막 합성곱층 이후 512 출력의 완전 연결층(Fully Connected Layer)을 둔다. 또한 과적합(Over Fitting)을 방지하기 위하여 전반 2개의 합성곱층 이후, 후반 2개의 합성곱층 이후 그리고 완전 연결층 이후 드롭 아웃(Drop Out)층을 사용하며 각각 0.25, 0.25, 0.5 확률로 연결 계수를 학습에서 제외한다.

2.4 데이터 확장

심층학습으로 결함 검사기를 설정하기 위하여 결함 종류를 다음과 같이 구성한다. 결함 검출과 분류를 단일 과정으로 수행하기 위하여 결함을 네 종류로 구분하고 결함이 아닌 영상을 한 종류로 구분하여 총 다섯 가지 결함 클래스(0: 비결함, 1: 이물, 2: 입술 불량, 3: 얼룩 4: 구김)로 구성하였다. 일반적으로 분류기의 성능에 맞는 많은 수의 결함 데이터를 수집하기에는 많은 시간과 비용이 든다. 본 논문에서 심층 학습기를 학습시키기 위한 충분한 학습 데이터를 확보하기 위하여 데이터 확장(Data Augmentation)을 기법을 사용하여 결함 데이터를 확보하였다. 데이터 확장 방법은 단순히 학습에 필요한 데이터 개수를 확보하는 목적 이외에도 여러 가지 부분에서 강인한 분류 모델을 구축하는데도 도움이 된다.

본 연구에서 데이터 확장을 위해 사용한 방법은 다섯 종류로 먼저 임의의 각도(0-360도)로 결함 영상을 회전하여 추가적인 결함 데이터를 확보하였으며 이러한 방법으로 회전 방향에 강건한 모델(Rotation Invariance)을 확보할 수 있다. 두번째로는 좌, 우 방향으로 결함을 이동(결함 크기의 10% 이내에서 임의로 이동)하여 영상을 재생산하였다. 이렇게 함으로써 결함의 위치에 대한 강인한 모델(Position Invariance)을 얻을 수 있다. 그리고 세 번째로 원본 결함 영상을 좌우 및 상하 방향으로 대칭 영상을 만들어 데이터를 확장하였다. 그리고 네 번째 데이터 확장은 결함 데이터를 찌그짐 변환(Shear Transform)을 사용하여 데이터를 확장하였다. 그리고 마지막으로 영상 확대(Zoom)를 사용하여 원본 데이터를 원본 크기의 이내에서 임의로 10% 확대 및 축소하여 데이터를 생성하였다.

종이 용기 영상 내에서 임의의 영역에서 결함 분류를 위해서 비결함에 대한 학습 데이터도 필요하다. 비결함에 대한 영상 데이터는 종이 용기 영상 내에서 임의의 위치에 대한 패치 영상을 추출하여 사용하였다. 비결함 역시 결함 영상의 데이터 확장 방식(다섯 종류)를 모두 사용하여 학습에 필요한 데이터를 확보하였다.

3.1 데이터 학습

결함 영상은 종이 영상 내에서 결함 부위 중심으로 영상 패치를 추출하여 사용하였다. 그리고 2.4절에 기술한 데이터 확장 방법으로 학습 데이터를 생성하였다. 각 클래스별로 1000개의 데이터를 확보하였고 총 결함 수는 비결함까지 합하여 총 5000개의 데이터를 학습 및 테스트에 사용하였다. 심층 학습기의 훈련 데이터로 3000개를 사용하였으며 그와 동시에 모델의 검증(Validation) 용으로 1000개의 데이터를 사용하였다. 모델 검증 과정으로 최적모델 생성 후 모델의 성능 검증 테스트를 위하여 나머지1000개의 데이터 사용하였다.

3.2 결과 및 고찰

심층 학습기의 최종 출력은 5개의 소프트 맥스(Soft Max) 출력을 갖는 뉴런으로 각 출력 값이 해당 클래스의 분류 확률을 나타낸다. 분류기 학습은 64개의 학습 데이터를 미니 배치(Mini-Batch)로 구성하여 학습 파라미터(Weights)를 갱신하도록 했으며 총 200회 학습을 수행하였다. Fig. 7은 학습 회수(Epoch)에 따른 모델 손실(Model Loss)을 학습 데이터와 검증 데이터에 대해서 그래프로 나타낸 결과이다. 학습 그래프를 살펴보면 75 학습 회수(Epoch) 정도에서 과적합(Over Fitting)이 일어나는 것을 확인할 수 있다. 과적합이 일어나기 전까지 학습한 결과를 최적의 학습 결과로 저장하고 준비된 테스트 데이터에 해당 모델을 적용하였다. 본 모델의 학습 데이터의 인식율은 99.8%였으며, 테스트 데이터의 인식률은 96.5%를 보였다(Table 1 참조). 학습에 사용된 클래스별 상호 인식 정도를 확인하기 위하여 테스트 데이터의 분류결과 테이블(Confusion Matrix)을 Table 1에 나타내었다. 결과를 분석해보면 결함 간의 분류 결과(클래스 1-4)는 총 797개의 데이터 중 단지 4개가 오분류되어99% 이상의 높은 인식율을 보임을 알 수 있다. 즉 결함 간에는 명확한 특성이 존재하여 분류 결과가 높음을 확인할 수 있다. 하지만 비결함(클래스 0)의 경우 Precision와 Recall이 각 각 90.53, 92.97%로서 다른 결함 클래스에 비해 다소 낮은 성능을 보였다. 이는 비결함 샘플은 Hard Negative Sampling방법⁷으로 종이 컵 영상 내의 다양한 부분에 대해서 샘플을 수집하여 결함 샘플과 유사한 부분(인접한 영역)이 분포하기 때문이다. 이러한 비결함과 결함 클래스 간의 분류 성능은 향후 다양한 종류의 훈련 샘플을 추가 수집하여 데이터 개수를 늘리고 또한 후처리(Post Processing) 기법을 통해서 향상될 수 있을 것으로 기대된다.

Fig. 7

Model loss graph (Train data and validation)

Table 1

Confusion matrix for test data (Accuracy = 96.5%)