Convolutional Neural Network를 활용한 SEM 영상품질 향상 및 영상품질 평가를 위한 MTF 측정기법

1. 서론

반도체 소자는 과거 무어의 법칙에 따라 주요 모듈의 크기가 지속적으로 작아졌으며, 최근에도 NAND, DRAM, Logic에서 여전히 스케일링이 이뤄지고 있다[1]. 반도체 소자의 모듈 구조가 점차 미세화 됨에 따라 반도체 제품 개발에 있어서 반도체 구조 분석 및 계측 기술은 더욱 중요해지고 있으며, 선명한 영상을 얻어내기 위해서 계측 설비의 성능 향상도 중요하지만, 영상처리방법을 이용해서 영상품질을 향상시키는 연구도 저비용으로 영상품질을 개선할 수 있기 때문에 꾸준히 연구되고 있다. 최근 정밀가공 등 다양한 분야에서 나노마이크로 스케일의 구조 분석 측정에 Scanning Electron Microscopy (SEM)이 이용되고 있다[2,3]. 특히 반도체 구조계측은 미세한 구조를 촬상하기 위해서 고분해능 전자 빔 기반의 계측이 활용되고 있다. 그러나 SEM은 주사방식의 촬상방식으로 인해 고분해능 모드에서는 영상 획득 속도가 느리다는 특징이 있다. 따라서 다양한 분야에서 소개되고 있는 딥러닝 기법을 반도체 구조 계측 영상처리에 활용하면 촬상 속도를 빠르게 함에도 불구하고 고분해능 영상 획득이 가능하여 반도체 구조계측 공정에 있어서 고생산성에 기여할 수 있다[4-8].

본 논문에서는 Convolutional Neural Network (CNN)에 기반한 Very Deep Super Resolution (VDSR) 알고리즘을 사용하여 반도체 소자 구조의 SEM 영상의 품질을 향상시키고 정량적으로 검증하였다. 반도체 소자 SEM 영상의 품질을 향상시키기 위해 VDSR의 매개 변수를 변경하여 다양한 신경망을 만들었고, 각 신경망에 반도체 소자 SEM 영상을 넣어 변경된 매개 변수에 따른 결과 영상의 품질을 나타내는 지표인 Peak Signal to Noise (PSNR)와 Structure Similarity Image Measurement (SSIM)를 이용하여 결과 영상의 품질을 비교 평가하였다. 그러나 영상 품질을 정량화 한 수치 결과와 육안으로 직접 확인한 영상 대비 결과가 다르게 나타나는 것을 확인하였고, 이를 극복하고자 영상의 품질을 대비(Contrast)를 기반으로 정량화 할 수 있는 Modulation Transfer Function (MTF)를 사용할 것을 제안한다.

2. CNN을 활용한 SISR

2.1 VDSR

2015년에 CNN을 이용한 방법이 처음 소개되고 최근에 이르기까지 다양한 구조의 CNN을 활용한 Single Image Super Resolution (SISR)이 연구되었다[9]. 본 논문에서는 여러 CNN 기법들중에 VDSR 모델을 활용하여 SEM으로 촬상한 반도체 NAND Flash Memory의 주요 구조인 Channel Hole 영상 향상 연구를 진행하였다.

VDSR은 Fig. 1과 같은 구조를 띄고 있으며, 다른 CNN의 모델들과 달리 영상의 적합한 잔차 영상을 생성하여 입력 영상에 더해 선명한 영상을 얻는 방식으로 CNN 모델을 구축하였다. VDSR에서는 3 × 3의 크기인 필터 64개로 연산을 진행하는 합성곱 층과 활성화 함수층을 한 쌍으로 20개의 층을 이루고 마지막 합성곱층을 통해 잔차 영상을 출력하는 구조로 구성된다. 이러한 구조에서 처음 설정한 VDSR 모델에서는 층의 깊이는 20개의 층, 훈련 영상의 개수는 200개, 유형은 일반 사진의 유형으로 구성했다. 훈련 데이터 증강 방식은 Down-Sampling 2, 3, 4배 변화와 무작위 회전 및 대칭을 활용했다. 데이터 증강(Data Augmentation)을 진행하여 반도체 소자 SEM 구조 영상의 품질 향상을 위해 모델을 구축하였고, 다양한 매개 변수인 층의 깊이, 훈련 데이터 증강 방식, 훈련 영상 유형 및 훈련 영상 개수의 변화를 주어 반도체 소자 구조에 적합한 모델을 얻었다. 특히, 훈련 영상의 유형에서는 일반 영상과 SEM 영상을 조합하여 훈련 영상에 변화를 주었다. 매개 변수가 변경된 여러 VDSR 모델의 결과 영상을 정성평가를 하였고, PSNR과 SSIM을 이용하여 정량 평가를 진행했다[10,11].

Fig. 1

A structure of VDSR model

2.2 반도체 소자 구조 SEM 영상에서의 모델 평가

Fig. 2(a)에서 보면 4배의 Up-Sampling을 적용하여 초기 VDSR 결과에서 PSNR과 SSIM수치가 Bicubic 보간법보다 높은 값을 보였다. 정성평가에서 모두 동일한 픽셀의 수를 가졌음에도 Bicubic 보간법보다 VDSR로 향상한 영상이 구조 경계가 선명하게 보이는 것을 확인할 수 있었다. 정성평가와 정량평가가 일치하는 Up-Sampling 설정이므로 VDSR 매개 변수의 변화에 따른 반도체 소자 SEM 영상품질 향상 영향을 볼 수 있다.

Fig. 2

Comparative results of high-resolution images and super-resolution images of models which parameters are changed in different ways such as data type, scale factor, layer depth, number of training data and data augmentation

여러 매개 변수 변화 모델 중 훈련모델 레이어 수와 훈련 영상의 개수에 변화를 준 모델에서 PSNR과 SSIM이 초기 설정한 VDSR 모델 결과보다 좋았다. 데이터 증강 방식과 훈련 영상 유형의 변화보다 훈련모델 레이어 수와 훈련 영상의 개수 변화가 반도체 소자 구조 SEM 영상에서 VDSR 모델의 성능에 큰 영향을 미칠 수 있음을 확인했다.

Fig. 2(b)에서와 2배 Up-Sampling을 적용한 경우 VDSR에서 진행한 결과 모두 Bicubic 보간법을 적용한 결과보다 정량적으로 좋지 못한 것을 알 수 있었다.

그러나 정량적 비교 수치와 달리 Fig. 3에서 영상의 결과를 확대하여 육안으로 비교해 보면 PSNR과 SSIM에서의 수치적 결과와 다르게 영상의 품질이 좋아진 것을 확인할 수 있었다. 이러한 결과로 본 논문에서는 자주 사용되는 영상 성능 지표인 PSNR과 SSIM이 아닌 다른 수치를 적용하여 결과 영상의 정량평가를 보완하려 한다

Fig. 3

Low-resolution and image processed images (Scale factor = 2)

3. 영상 향상 품질 평가를 위한 MTF 측정

3.2 Slanted Edge 기법

본 연구에서는 MTF를 VDSR과 같은 신경망의 능력을 측정하는데 이용한다. 반도체 소자 구조 SEM 영상의 MTF를 측정하기 위해 Fig. 4와 같이 영상 부분에 직접 MATLAB으로 만든 Slanted Edge Image를 삽입하였다[14]. MTF 곡선은 초분해능을 통해 품질이 향상된 영상의 Slanted Edge를 통해서 구해 낸다.

Fig. 4

A slanted edge image applied to the upper right corner of the NAND flash channel hole image

Fig. 5은 MTF 곡선을 획득하는 과정을 순차적으로 나타낸 것이다. Fig. 5(a)는 Edge Spread Function (ESF)이며, Slanted Edge를 설정한 구역에서 픽셀 위치에 대한 각 행들의 평균을 나타낸 값이다. Edge가 기울어진 각도만큼 세기의 변화가 있다. 가로축은 해당 픽셀의 위치를 나타내며, 세로축은 픽셀의 값인 세기를 말한다. Fig. 5(b)는 Line Spread Function (LSF)이며, ESF의 값을 미분하여 나타낸 값이다. 가로축은 픽셀 영역을 나타내고, 세로축은 픽셀의 세기를 정규화하여 나타낸 값이다. 마지막 Fig. 5(c) MTF Curve의 가로축은 단위 픽셀안에 들어있는 패턴의 반복 횟수를 의미하는 공간주파수를 말한다. 픽셀 영역인 LSF를 공간주파수 영역으로 변환한 결과이며, Figs. 5(b)와 5(c) 사이에 푸리에 변환이 관계된 것을 알 수 있다[15]. LSF에서 Fast Fourier Transform을 진행하여 Fig. 5(c)와 같은 완전한 MTF 곡선을 산출했다.

Fig. 5

MTF measurement process

MTF 곡선은 공간주파수에 대한 대비와 분해능을 나타내는 지표이지만 그래프이기에 PSNR 및 SSIM과의 성능 비교 평가를 위해 MTF 곡선의 y축 대비가 0.5일 때 공간주파수의 값으로 나타낸 수치인 MTF 50%를 이용한다.

3.3 Slanted Edge 각도 설정

Slanted Edge를 활용하기에 앞서 Edge가 이루는 각도에 따라 결과값이 달라지기 때문에 선행 연구에서 다양한 Slanted Edge 각도로 다양한 영상을 평가한 결과, 각도가 5^o인 경우 MTF 수치화에서 우수한 평가를 받을 수 있었다[16,17]. 본 연구에서 15^o보다 높은 각에서 픽셀 분포, ESF, LSF 및 MTF 곡선의 형태를 비교할 필요가 있었다. 30^o와 45^o의 기울기를 가진 Slanted Edge를 넣어 비교하였다.

Fig. 6에서 흑색 과 백색 픽셀의 기울기가 전보다 커지면서 Edge 구간에서 세로방향에 따라 각도가 클수록 적은 픽셀로 색 변화가 표현된다. 색 변화가 뚜렷한 형태를 띄면 SISR을 진행할 경우 개선되는 영역이 크지 않고 영상 향상 평가가 제대로 이뤄지지 않는다.

Fig. 6

Slanted edge images at 30o and 45o

Fig. 7(a)는 각도가 점차 커지면서 세기의 변화 구간이 늘어나 ESF 변동 영역이 늘어나기 때문에 Fig. 7(b)에서 미분을 진행하면 정규화된 세기가 높은 픽셀 영역이 늘어난다. 각이 커질수록 높은 픽셀 영역은 늘어나 45^o에서는 일정한 값을 갖게 된다. MTF 곡선인 Fig. 7(c)에서 MTF 10%를 비교했을 때, 30^o는 공간주파수가 2인 반면 45^o는 1 이하에서 값을 갖고 공간주파수의 영역이 점차 짧아진다. 이를 통해 검증된 각도인 5^o를 유지하여 평가를 진행하였다.

Fig. 7

Edge spread function, Line spread function and Modulation transfer function at 30o and 45o

4. 실험 및 검증

Fig. 8에서 Up-Sampling을 4배로 진행하였을 때 VDSR과 Bicubic 보간법, Lanczos 보간법에 따른 영상 처리 결과를 확인할 수 있다. 정성적인 결과로는 VDSR이 다른 보간법에 비해 Channel Hole 구조의 경계가 확연히 선명한 것을 알 수 있다. Table 1에서 VDSR의 PSNR 수치가 Bicubic 보간법과 Lanczos 보간법의 수치보다 각각 0.8618, 0.6267 dB 높게 측정되고, SSIM은 0.0029, 0.0024 높게 측정된다. 이러한 결과들은 VDSR에서의 영상처리 결과가 다른 보간법보다 영상 품질이 높게 측정됨을 의미하고 육안으로 확인하는 정성평가와 PSNR 및 SSIM을 이용한 정량평가가 일치하는 모습을 보인다. 하지만 Table 1에서 Up-Sampling을 1.5배로 Sampling 계수를 낮게 설정하여 진행한 결과 PSNR과 SSIM를 이용한 영상 품질 평가 지표의 신뢰성은 낮아지는 것을 볼 수 있다. VDSR의 수치는 Bicubic과 Lanczos 보간법에 비해 PSNR은 0.7186, 0.7985 dB 낮게 측정되고, SSIM은 0.0095, 0.0099 늦게 측정되어 수치상으로는 VDSR의 영상 처리 결과가 다른 보간법들보다 영상 품질이 안 좋다는 것을 보여주지만 Fig. 9에서 Up-Sampling을 1.5배로 진행하였을 때 영상처리 결과들을 정성적으로 비교하였을 경우, VDSR이 다른 보간법에 비해 선명한 것을 알 수 있다.

Fig. 8

Super-Resolution images using bicubic, Lanczos interpolation and VDSR (Scale factor = and 4)

Table 1

A comparison of results measured image quality in Bicubic, Lanczos interpolation and VDSR

Fig. 9

Super-Resolution images using bicubic, Lanczos interpolation and VDSR (Scale factor = 1.5)

Up-Sampling을 낮게 진행할 경우 PSNR과 SSIM을 이용한 영상 품질 평가는 정성평가와 일치하지 않는 것을 보여주기에 본 연구에서는 PSNR과 SSIM으로 영상 품질 평가를 하는 것이 아닌 MTF 곡선을 이용하여 영상 품질을 비교하는 것을 제안한다.

Slanted Edge를 이용하여 MTF 곡선을 측정할 경우 Fig. 10에서와 같이 나온다. PSNR과 SSIM을 MTF에서의 수치와 비교하기위해 MTF 곡선에서 대비가 0.5일 때의 수치인 MTF 50%를 이용하여 Table 1에 나타내었다. Up-Sampling 4배를 진행한 경우 MTF 50%는 VDSR의 결과가 Bicbuic과 Lanczos 보간법에 비해 0.3302, 0.6086 c/p (cycle/pixel) 높게 측정되었고, Up-Sampling 1.5배를 진행한 경우 0.0634, 0.1731 c/p 높게 측정된다. 공간주파수가 높을수록 해당 영상의 분해능이 작아 영상의 품질이 좋음을 의미하며 Up-Sampling의 변화에 상관없이 VDSR의 품질이 좋음을 나타낸다. 정성평가와 동일하게 VDSR의 MTF 50%가 높게 측정되어 영상 품질이 좋은 것을 보여줌으로써 MTF에서의 영상 품질 측정은 반도체 구조 SEM 영상에서 우수함을 확인했다.

Fig. 10

MTF curve at bicubic interpolation and VDSR (Scale factor = 4 and 1.5)

5. 결론

반도체 구조 SEM 영상의 분해능 향상을 위해 VDSR 기법을 활용하여 합성곱 신경망의 여러 매개 변수들을 변경하며 적합 모델의 탐색을 수행하였다. 적합 모델 간의 비교분석을 위해 정량평가를 진행하였고 이 과정에서 PSNR과 SSIM이 사용되었다. 하지만 이러한 평가과정에서 육안으로 직접 판별하는 결과와 PSNR과 SSIM 결과의 불일치가 발생하였고, 이외에 신경망 모델에서 PSNR과 SSIM으로 진행한 정량평가가 육안으로 판별되는 정성평가와 일치하지 않는 경우도 있었다. 본 연구에선 낮은 배율의 Up-Sampling을 진행한 경우 정량평가와 정성평가가 일치하지 않는 점을 발견하여 PSNR과 SSIM을 사용한 영상품질 향상에 있어서 정량평가가 보완되어야 한다고 판단했다. 이를 위해 분해능별 영상의 대비를 나타내는 MTF 곡선을 도입하여 초분해능 영상에서의 영상품질 수치를 측정하는 것을 제안하였다. MTF 곡선을 측정하는 방법엔 여러 방법들이 존재하며 본 연구에선 이 중 Slanted Edge 영상을 활용하여 향상된 영상품질을 수치화하였다. MTF 곡선을 만든 뒤 MTF 50%의 값을 이용하여 영상처리 알고리즘을 비교 평가했다. MTF 50%는 PSNR과 SSIM의 수치들과 비교하였을 때, Up-Sampling을 작게 진행해도 Bicubic 보간법보다 VDSR의 초분해능 결과가 정성 평가와 일치하는 것을 확인할 수 있었으며 Up-Sampling을 작게 진행한 경우 동일하게 MTF 곡선이 차이가 나는 것을 확인함으로써 MTF 곡선이 PSNR 및 SSIM에서의 정량평가와 다르게 MTF 곡선을 이용한 정량평가는 영상품질 향상 평가의 지표로서 잘 나타낼 수 있다는 것을 알 수 있다.

Acknowledgments

본 논문은 2022년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학 협력기반 지역혁신 사업(2021RIS-004) 및 대한민국 정부(산업통상자원부 및 방위사업청) 재원으로 민군협력진흥원에서 수행하는 민군기술협력사업의 연구비(Nos. 22-CM-EC-23, 22-CM-EC-35) 지원으로 수행되었습니다.

REFERENCES

• Moore, G. E., (1998), Cramming more components onto integrated circuits, Proceedings of the IEEE, 86(1), 82-85. [https://doi.org/10.1109/JPROC.1998.658762]
• Lee, H. J., Cho, Y. T., Kim, S., (2021), Unconventional additive manufacturing for multiscale ceramic structures, Journal of the Korean Society for Precision Engineering, 38(9), 639-650. [https://doi.org/10.7736/JKSPE.021.072]
• Park, J. A., Lee, U. S., Kim, B. H., (2020), Micro pin fabrication of tungsten carbide using polycrystalline diamond, Journal of the Korean Society for Precision Engineering, 37(11), 791-796. [https://doi.org/10.7736/JKSPE.020.085]
• Johnson, P. M., Recht, M. P., Knoll, F., (2020), Improving the speed of MRI with artificial intelligence, Seminars in Musculoskeletal Radiology, 12-20.
• Jung, J., Na, J., Park, H. K., Park, J. M., Kim, G., Lee, S., Kim, H. S., (2021), Super-resolving material microstructure image via deep learning for microstructure characterization and mechanical behavior analysis, npj Computational Materials, 7(1), 1-11. [https://doi.org/10.1038/s41524-021-00568-8]
• Tang, L., Liu, G., Xiao, G., Bavirisetti, D. P., Zhang, X., (2022), Infrared and visible image fusion based on guided hybrid model and generative adversarial network, Infrared Physics and Technology, 120, 103914. [https://doi.org/10.1016/j.infrared.2021.103914]
• Yang, W., Zhang, X., Tian, Y., Wang, W., Xue, J.-H., Liao, Q., (2019), Deep learning for single image super-resolution: A brief review, IEEE Transactions on Multimedia, 21(12), 3106-3121. [https://doi.org/10.1109/TMM.2019.2919431]
• Kim, J., Lee, J. K., Lee, K. M., (2016), Accurate image super-resolution using very deep convolutional networks, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1646-1654. [https://doi.org/10.1109/CVPR.2016.182]
• Dong, C., Loy, C. C., He, K., Tang, X., (2014), Learning a deep convolutional network for image super-resolution, Proceedings of the Computer Vision-ECCV 2014, 184-199. [https://doi.org/10.1007/978-3-319-10593-2_13]
• Liu, Y., Sun, Q., Lu, W., Wang, H., Sun, Y., Wang, Z., Lu, X., Zeng, K., (2019), General resolution enhancement method in atomic force microscopy using deep learning, Advanced Theory and Simulations, 2(2), 1800137. [https://doi.org/10.1002/adts.201800137]
• Hore, A., Ziou, D., (2010), Image quality metrics: PSNR vs. SSIM, Proceedings of the 2010 International Conference on Pattern Recognition, 2366-2369. [https://doi.org/10.1109/ICPR.2010.579]
• Ledig, C., Theis, L., Huszár, F., Caballero, J., Cunningham, A., Acosta, A., Aitken, A., Tejani, A., Totz, J., Wang, Z., (2017), Photo-realistic single image super-resolution using a generative adversarial network, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 4681-4690. [https://doi.org/10.1109/CVPR.2017.19]
• Lee, S., Lee, H., (2021), Developed an in-line system of measuring MTF for automating the assembly process of lens-module in a smartphone camera, Journal of the Korean Society for Precision Engineering, 38(5), 359-363. [https://doi.org/10.7736/JKSPE.020.111]
• Vint, D., Di Caterina, G., Soraghan, J., Lamb, R., Humphreys, D., (2019), Evaluation of performance of VDSR super resolution on real and synthetic images, Proceedings of the 2019 Sensor Signal Processing for Defence Conference (SSPD), 1-5. [https://doi.org/10.1109/SSPD.2019.8751651]
• Zhang, X., Kashti, T., Kella, D., Frank, T., Shaked, D., Ulichney, R., Fischer, M., Allebach, J. P., (2012), Measuring the modulation transfer function of image capture devices: What do the numbers really mean?, Image Quality and System Performance IX, 64-74. [https://doi.org/10.1117/12.912989]
• Roland, J. K., (2015), A study of slanted-edge MTF stability and repeatability, Image Quality and System Performance XII, 181-189. [https://doi.org/10.1117/12.2077755]
• Viallefont-Robinet, F., Helder, D., Fraisse, R., Newbury, A., van den Bergh, F., Lee, D., Saunier, S., (2018), Comparison of MTF measurements using edge method: Towards reference data set, Optics Express, 26(26), 33625-33648. [https://doi.org/10.1364/OE.26.033625]