OpenCV를 이용한 부위별 안면마비 등급 측정 시스템 설계

1. 서론

전 세계적으로 인구는 고령화가 진행 중이다. 선진국만 아니라 개발도상국 또한 최근 고령화가 시작함으로써 인구고령화는 세계적인 현상으로 나아가고 있다. 세계 보건기구(WHO)는 활동적인 노화(Active Aging)를 사람들이 나이가 들어감에 따라 건강과 관계, 안전, 삶의 질을 향상시키기 위한 과정이라고 정의한다[1]. 또한 유엔(UN)은 고령화 및 국가 발전, 가족의 지속 가능성, 고령화 인구를 부양할 수 있는 국가 및 지역 사회의 능력에 관한 문제에 대해 집중하고 있으며, 세계적으로 능동적인 고령화(Active Senior)에 대한 관심이 높아지고 있어 국가만이 아니라 사회의 개개인도 사회적으로 “성공적인 노화”를 위해 노력하고 있다[2]. 하지만 인간의 활동은 나이가 들면서 점진적으로 감소하며, 노화에 따른 다양한 질병들은 성공적인 노화를 위한 사회적인 노력을 방해할 수 있다[3].

본 연구진은 노인의 삶을 위협하는 질병 중 안면마비, 구안와사 라고도 불리는 Bell’s Palsy(벨 마비)에 대해 집중한다. 벨 마비는 여러 연령대와 성별에 걸쳐 발생한다고 보고되고 있다[4]. 환자 816명을 조사하였을 때의 평균 연령은 42.9세라고 보고된 사례를 보면 벨 마비는 중년층 이상부터 위협적인 질병이며 일생에 약 65명 중 1명이 경험할 정도로 잦은 빈도수를 나타낸다[5]. 벨 마비의 주요 원인은 제7뇌신경(안면 신경)의 급성 동측 마비로 발생한다[6]. 벨 마비는 일반적으로 몇 주에서 몇 달 안에 해결되지만 점진적으로 회복되며, 재발 위험과 심각한 경우에는 영구적인 후유증으로 인해 환자의 삶의 질까지 영향을 줄 수 있다. 벨 마비는 정확한 병인이 아직 불분명하며, 적절한 치료법 또한 알려지지 않고 있다. 이와 같은 문제를 해결하기 위해 벨 마비에 대한 해부학적, 바이러스 감염, 허혈, 염증, 냉자극 등 다양한 원인에 대해 조사가 진행되고 있으며, 현재 병태생리학적 주요 가설은 HSV-1바이러스의 재활성화 또는 세포 매개 자가면역 염증 반응으로 제시되고 있다[7,8]. 벨 마비에 의해 나타나는 증상적 특징은 한쪽 얼굴이 처지는 것이 특징이며, 눈 깜박임, 미소짓기, 인상 찡그리기 및 눈썹 올리기 등과 같은 안면 근육 운동에 대한 제어에 영향을 준다고 알려져 있다[9]. House-Brackmann Grading System (HBGS)는 벨 마비로 인하여 나타나는 증상들을 기반으로 안면 신경 마비의 신경 손상도를 등급화 하였다[10,11]. 이 등급 척도는 환자의 안면 기능을 정확히 설명하고 임상에서 빠르게 안면 신경도를 판단할 수 있는 척도로 사용된다. 이 질병은 너무 많은 불분명한 원인으로 인해 정확한 진단법과 치료법이 제시되지 않고 있으며 안면 마비 등급에 따른 벨 마비의 원인 질병에 대해서도 많이 조사되지 않았다.

본 연구에서는 먼저 벨 마비의 임상적 등급을 판별하기 위한 도구인 Nottingham System (NS)을 딥 러닝을 통한 이미지 프로세싱 라이브러리인 OpenCV를 사용하여, 벨 마비 환자와 정상인의 마비 정도를 수치화했다. 이후 기존 NS의 단점인 전부위 합에 대한 측정 계산방법으로 좌우의 대칭 정도 차이만을 비교하여 특정 상황에서 큰 오류가 나타날 수 있고 중추성 안면 마비의 평가가 어려운 점을 보완하였다. 안면 근육의 주요 거동 부위인 눈썹과 입꼬리 주위에 대한 변위를 전반적으로 확인하고 표정변화에 따른 부위별 안면 근육의 동작 정도와 좌우 차이를 수치적으로 확인했다. 그 중에서도 눈썹과 입꼬리에서 각각 3곳의 위치를 선택해 각 위치별 움직임의 수준을 등급화하여 기존의 NS 및 HBGS 등급과 비교하였다. 이를 통해 간단한 사진 입력으로 보다 정확한 안면의 각 부위별 움직임의 수준과 비대칭 정도를 실시간으로 확인하고 좌우 안면 근육의 움직임에 대한 등급과 안면 HBGS 등급을 함께 나타내는 시스템을 설계하였다. 나아가 안면 마비 환자의 진단정보를 신속하게 얻을 수 있고 신속한 치료를 위한 지원을 목표로 한다.

Fig. 1

Output results for Nottingham System scale and House-Brackmann grade. (a) Inserted Pictures, (b) System output results

Fig. 2

Example of displaying face landmarks for virtual models using the OpenCV system. (a) Normal, (b) Mild facial asymmetry, (c) Severe facial asymmetry

2. OpenCV를 통한 안면 비대칭 측정 및 등급 분류

2.1 Nottingham System (NS) 기반 안면 비대칭 측정

NS는 안면 신경 기능 임상 평가를 위한 HBGS 분류를 위한 객관적인 시스템으로 안면 신경 기능의 신속한 평가를 위한 정확하고 객관적인 연속 등급 시스템으로 권장되어오고 있다. NS 스케일 백분율이 100에 가까울 수록 정상 범주에 속하며, 낮을수록 안면 마비의 높은 수준에 대한 판별이 가능하다. NS 스케일 백분율에 따라 안면 신경 기능 임상 평가를 위해 가장 기준이 되는 HBGS로 분류될 수 있다. HBGS는 I-VI로 분류되며 등급이 높을수록 중증을 나타낸다. NS는 평상시의 얼굴 표정에서 Raise Eyebrow (Rb), Close Eye Tightly (Ce), Smile의 3가지 표정에 대한 각 부위에 따른 기준 좌표 사이의 거리를 측정한다. Fig. 3의 위치와 같이 좌우 안면에 대해 각 표정의 Supraorbital (SO)에서 Infraorbital (IO)까지의 거리 및 Lateral Canthus (LC)에서 Corner of Mouth (M)까지의 거리를 측정한 비대칭 수준의 백분율이 HBGS 등급 체계로 적용될 수 있다. 우리는 더 정확하고 객관적인 안면마비 정도를 확인하고 환자의 마비 등급의 객관적인 분류를 위해 NS를 영상 처리 방법으로 적용하여 정상인, 경증 안면마비 환자 및 중증 안면마비 환자를 대상으로 4가지 표정 사진의 안면 마비 정도를 검증했다.

Fig. 3

Measurement locations for the Nottingham System (NS)

NS를 OpenCV를 통해 안면 경계의 좌표를 추출하여 안면마비 정도를 측정하고 등급을 분류하기 위해 4가지 표정 모델을 대상으로 얼굴 각 부위의 Landmark에 대한 정보를 직관적으로 사진에 표시했다. 이후 경계좌표를 이용해 각각의 사진에서 NS 스케일 측정에 필요한 좌표를 추출하여 SO에서 IO까지의 거리 및 LC에서 M까지의 거리를 계산하였다. 이를 정상인, 경증 안면마비 환자 및 중증 안면마비 환자 가상의 모델 9명을 대상으로 좌우 각각에 대한 거리를 합한 값의 비율을 통해 안면 마비정도를 측정하는 NS 스케일 값이 나타나며 이어서 이 값을 안면마비 등급 HBGS로 출력했다. 가상의 안면마비 환자 모델 9명은 말초성 안면마비(편마비) 및 중추성 안면마비 환자 등 다양한 안면마비 정도를 나타내도록 구성하였다.

모델의 좌우 각각 좌표에 대한 거리를 합한 비율로 나타내어 안면 마비의 척도인 NS와 안면마비 등급 HBGS를 Fig. 1의 결과로 출력하였다. 결과적으로, 안면마비 환자 모델인 정상, 경증 및 중증 안면마비 환자 가상의 모델 사진을 시스템에 입력하여 Face Landmark의 Point Cloud가 안면 마비에 대한 비대칭 좌표가 정상적으로 표시됨을 Fig. 2와 같이 확인하였고 이후 가상의 모델 9명에 대한 NS 스케일 백분율과 이에 따른 HBGS 값이 매칭됨을 Table 1에서와 같이 확인하였다. 그러나 6번 환자 모델의 경우 중추성 안면마비 환자 모델이지만 NS 스케일이 높게 측정되어 HBGS 또한 높게 나타나는 오류가 발생하는 것을 확인할 수 있었다.

Table 1

Measurement results for the Nottingham System and HBGS grade

2.2 NS의 단점을 보완하는 시스템 설계 및 지표 제시

NS에서 눈썹 변위가 비슷하여 오차가 커지는 중추성 안면마비 환자 및 눈썹과 입꼬리의 비대칭 정도를 한 번에 계산하는 과정에서 발생하는 오류를 보완하고자 평상시 표정에서 눈썹을 위로 올린 표정(Rb)과 눈을 세게 감았을 때(Ce) 눈썹의 위치 변화와 웃었을 때(S) 입꼬리의 위치 변화를 전반적으로 측정했다. NS의 측정 방법에 맞춰 Rb와 Ce 표정에서 눈썹의 모든 경계좌표로부터 IO까지의 거리를 측정하고 입꼬리는 웃는 표정에서 좌우로 나눈 입 전체의 경계좌표에서 LC 까지의 거리를 측정한다. 이후 각 부위에서 특징적인 3곳(Fig. 4)의 경계좌표를 선택하여 더 넓은 범위의 안면 근육의 변화를 확인하고 좌우 비대칭 수준을 측정한다. 비대칭 평가에 특화된 NS와 추가로 부위별 변위의 수준에 대한 등급을 제시하여 보다 직관적인 안면 근육의 상태를 확인할 수 있도록 설계했다. 각 경계좌표에서 안면의 변위와 비대칭 수준은 다음 식과 같이 나타냈다.

$\[ \begin{array}{c}\Delta Eyebrow =\sqrt{{\left(x_{rb}-x_{{10}_{rb}}\right)}^2+{\left(y_{rb}-y_{{10}_{rb}}\right)}^2}\\ +\sqrt{{\left(x_{ce}-x_{10\_ce}\right)}^2+{\left(y_{ce}-y_{10\_ce}\right)}^2}\\ -2\sqrt{{\left(x_{rest }-x_{10\_rest}\right)}^2+{\left(y_{rest }-y_{10\_rest}\right)}^2}\end{array} \]$

(1)

$\[ \begin{array}{c}\Delta Mouth =\sqrt{{\left(x_S-x_{L{C}_{-}s}\right)}^2+{\left(y_s-y_{L{C}_{-}s}\right)}^2}\\ -\sqrt{{\left(x_{rest }-x_{L{C}_{-}rest }\right)}^2+{\left(y_{rest }-y_{LC\_rest }\right)}^2}\end{array} \]$

(2)

Fig. 4

Additional measurement locations for facial muscles

식(1)은 눈썹을 올리는 표정 Rb의 눈썹과 IO까지의 거리에서 평상시 표정(Rest)에 대한 거리의 차이와 눈썹을 내리는 동작인 Ce에서 Rest에 대한 차이를 합한 값으로 눈썹의 전체 움직인 거리를 계산했다. 식(2)는 웃는 표정에 대해 입꼬리의 움직임을 Rest와 비교하여 거리를 확인하였다.

3. OpenCV를 이용한 안면근육의 움직임 측정 결과

3.1 부위별 안면 근육의 움직임 등급 제시 및 안면 비대칭 수준 개선

설계한 OpenCV를 기반으로 하는 안면 마비 측정 시스템을 이용해 Fig. 4에서 보이는 위치의 안면 근육의 움직임을 측정 하였으며, 측정 결과는 Table 2에서 확인할 수 있다. 안면 근육의 움직임에 따른 눈썹과 입꼬리의 변화에 대한 거리를 이용해 안면근육의 움직임에 대한 등급을 표시했다. 등급은 측정한 전체 모델의 변위를 기준으로 부위별 거동에 대한 순위를 측정하고 각 포인트의 순위에 대한 평균값을 기준으로 선정하였다. 또한, Table 3에서 눈썹과 입의 비대칭 정도를 비율로 나타내 결과를 확인하였다. 사람마다 표정 변화 시 눈썹이 크게 움직이는 위치가 다르기 때문에 눈썹에서 기존 NS 스케일 대비 변화된 안면 비대칭 비율을 보여주었으며, 더 많은 포인트를 측정함으로써 보다 정확한 안면 근육의 움직임 변화를 확인할 수 있었다. Table 2에서 중추성 안면마비 모델인 6번 모델은 눈썹은 비교적 균등하게 움직일 수 있지만 입 부위에서 비대칭성이 나타나며 좌우 모두 운동 변위의 합이 작은 것을 관찰 할 수 있다.

Table 2

Improved eyebrow and mouth corner muscle measurement results for each of the three points, and grade of facial muscle movement

Table 3

Newly measured facial asymmetry scale

그러나 Fig. 3과 같이 눈썹에서 Point 2(SO), 입꼬리에서 Point 1(M)의 위치만을 측정하는 기존의 NS 스케일은 Table 1에서 보이는 것과 같이 6번 모델에 대해 84.8%의 높은 대칭 비율과 2등급의 HBGS를 나타내었다. 측정 포인트를 추가함으로써 입꼬리 부위에 대한 비대칭성을 확인하였으며 향상된 안면비대칭 정도에 대한 스케일 또한 보정할 수 있었다. 결과적으로 Table 4와 같이 좌우 각각에 대한 움직임 등급, 안면 대칭 정도와 그에 따른 HBGS 등급을 표시하고 기존 NS 스케일과 비교하여 그 차이를 확인했다.

Table 4

Comparison of measurement results between the previous system and our system

4. 결론

안면 마비 인식을 위한 객관적인 평가는 관련된 질병에 대한 매핑을 위해 필수적이다. 안면 마비는 단순히 안면에 나타나는 이상 징후와 다양한 원인 및 원인 불명으로 인한 질병과 연관되어 있다. 이는 환자의 건강만이 아니라 삶의 질에도 연관되어 있다. 따라서 안면 마비의 빠른 진단과 신속한 치료가 이루어져야 한다. 원인이 되는 질병을 추적하기 전 필수적으로 안면 마비 정도의 수준을 우리는 먼저 이미지 프로세싱으로 NS 측정방법을 이용해 주요 부위의 거리 측정을 통해 빠르게 확인하였다. NS는 간단한 좌표 계산으로 이미지 프로세싱을 적용하기 편리하지만, 좌우 전체 안면 근육의 거리변화의 합을 통해 측정하기 때문에 이마와 눈썹 운동이 가능한 중추성 안면마비에 대한 측정이 어려웠고, 각 부위별 증상정도를 파악하거나 비교하기 어려운 단점이 있었다. 중추성 안면마비 환자의 경우 좌우 안면 모두 거동이 불편하여 작은 변위를 나타내지만, 좌우 NS 요소의 합의 차이가 적기 때문에 NS와 HBGS가 높게 나타나는 오류가 발생한다. 이를 개선하기 위해 부위별 안면근육 움직임의 측정을 위해 좌우 안면의 주요 부위에 대한 거동 변화를 등급별로 분류하여 기존의 NS 및 HBGS와 함께 비교할 수 있도록 시스템을 구성하였다. 이 시스템은 간단하게 4장의 사진을 입력하는 것으로 안면마비의 평가를 빠르게 수행할 수 있고 이미지 프로세싱을 통해 측정이 매우 간편하며 부위별 안면마비의 수준과 HBGS 체계에 잘 적용될 수 있다. 좌우 얼굴의 부위별 안면 마비 등급을 판별하고 NS를 통해 측정된 HBGS와 비교하여 오류를 보완하고 측정 결과를 보충할 수 있다. 또한 환자의 안면 마비 정도를 쉽고 빠르게 진단하고, 추후 치료에 참고할 수 있을 것으로 기대한다.

Acknowledgments

본 논문은 2023년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학 협력기반 지역혁신 사업의 결과이며(2022RIS-005), 2020년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업으로 수행된 연구임(No. 2020R1I1A3073575).

REFERENCES

• Paúl, C., Ribeiro, O., Teixeira, L., (2012), Active ageing: An empirical approach to the WHO model, Current Gerontology and Geriatrics Research, 2012, 382972. [https://doi.org/10.1155/2012/382972]
• Fernández-Ballesteros, R., Robine, J. M., Walker, A., Kalache, A., Active aging: A global goal, 2013, 298012. [https://doi.org/10.1155/2013/298012]
• Canhao, H., Branco, J. C., Liotta, G., (2018), Editorial: Active aging and disease management, Front Med (Lausanne), 5. https://www.frontiersin.org/articles/10.3389/fmed.2018.00278 [https://doi.org/10.3389/fmed.2018.00278]
• Narcı, H., Horasanlı, B., Uğur, M., (2012), Seasonal effects on Bell’s palsy: Four-year study and review of the literature, Iranian Red Crescent Medical Journal, 14(8), 505-506.
• Vakharia, K., (2016), Bell's palsy, Facial Plastic Surgery Clinics of North America, 24(1), 1-10. https://www.clinicalkey.com/#!/content/playContent/1-s2.0-S106474061500084X [https://doi.org/10.1016/j.fsc.2015.08.001]
• Zhang, W., Xu, L., Luo, T., Wu, F., Zhao, B., Li, X., (2020), The etiology of Bell’s palsy: A review, Journal of Neurology, 267(7), 1896-1905. [https://doi.org/10.1007/s00415-019-09282-4]
• Schirm, J., Mulkens, P. S., (1997), Bell's palsy and herpes simplex virus, APMIS, 105(7-12), 815-823. [https://doi.org/10.1111/j.1699-0463.1997.tb05089.x]
• Prud'hon, S., Kubis, N., (2018), Bell's palsy, La Revue de Médecine Interne, 40(1), 28-37. [https://doi.org/10.1016/j.revmed.2018.03.011]
• Balakrishnan, A., (2015), Bell's palsy: Causes, symptoms, diagnosis and treatment, Journal of Pharmaceutical Sciences and Research, 7(11), 1004.
• House, J. W., Brackmann, D. E., (1985), Facial nerve grading system, Otolaryngology—Head and Neck Surgery, 93(2), 146-147. [https://doi.org/10.1177/019459988509300202]
• Song, I., Yen, N. Y., Vong, J., Diederich, J., Yellowlees, P., (2013), Profiling bell's palsy based on House-Brackmann score, Proceedings of the 2013 IEEE Symposium on Computational Intelligence in Healthcare and e-health (CICARE), 1-6. [https://doi.org/10.1109/CICARE.2013.6583060]