딥러닝 기반 일상 생활 및 낙상 위험도 예측

1. 서론

낙상 사고는 고령자에게 매우 치명적인 사고로 매년 68만여 명의 사상자가 보고된다[1]. 65세 이상 고령자에게는 약 30%가 85세 이상에서는 약 50%가 낙상 사고를 경험할 정도로 매우 빈번하게 나타나는 사고이다[2]. 낙상으로 인한 고관절 골절은 고령자에게 많은 합병증을 유발시키며 회복 후에도 영구적인 손상 남길 수 있다[3,4]. 따라서, 낙상 사고가 발생하였을 때 적절한 조치를 취하지 않으면 더 큰 사고로 이어질 가능성이 매우 크다[5]. 대한민국은 2022년 65세 이상의 고령인구가 대략 900만 명 이상으로 전체인구의 17.5%를 차지하며, 2025년에는 20% 이상으로 초고령사회에 진입할 것으로 예측된다[6]. 고령화 사회에 들어서며 낙상 사고를 적절하게 대응하는 것이 매우 중요하다[7].

낙상 감지 연구에서는 일반적으로 관성센서가 흔히 사용되는데, 관성센서는 가속도, 각속도, 지자계를 측정하는 센서로 소형화되어 웨어러블 센서로 많이 활용된다. 낙상 감지 알고리즘은 낙상 후 검출과 전 검출로 나눌 수 있다. Koo 등[8]은 관성센서를 통해 측정한 데이터를 SVM, ANN과 같은 머신러닝 모델에 적용하여 낙상 후 검출 정확도 약 99% 이상을 보고하였다. 해당 연구진은 학습데이터의 수가 증가했을 때 모델의 성능이 더 좋아진다고 보고하였다. 그러나 훈련하지 않은 동작에 대해서는 낮은 성능을 보인다고 보고하였다. Jung 등[9]은 관성 센서를 활용하여 30명의 피험자를 대상으로 14개의 일상 동작과 6개의 낙상 동작 데이터를 측정하였으며, ASVM (Acceleration Sum Vector Magnitude), GSVM (Angular Velocity Sum Vector Magnitude), 수직각도의 특성 벡터들을 추출하였다. 해당 연구진들을 ASVM, GSVM, 수직각도로 구성된 임계값 기반의 낙상 전 검출 알고리즘을 개발하여 98.4%의 정확도를 얻었으며, 공용 데이터셋인 Sisfall [10]을 활용하여 평가하였을 때는 92.4%의 정확도를 보고했다. Yu 등[11]은 KFall [12] 공용 데이터셋을 활용하여 머신러닝인 SVM 모델과 딥러닝 모델인 Conv-LSTM을 비교하였으며, 딥러닝을 적용한 낙상 검출 알고리즘에서 99.16%의 정확도를 보고하였다. 또한 해당 연구진들은 노인 낙상 데이터인 FARSEEING [13]을 개발된 모델로 평가하여 93.33%의 정확도를 달성하였다.

고령자에게 있어서 일상 생활 동작과 낙상 사고 발생시에 위험도를 파악하는 것은 매우 중요하며, 낙상 사고로 인한 응급상황 발생 시 빠른 대처 및 구조에 있어서 위험도를 알아야 한다. 최근 낙상 사고 시의 위험도를 가속도 값을 통해 분석하는 연구들이 진행되고 있다[14-17]. Arena 등[15]은 실험을 통해서 낙상사고 발생 시 머리에 작용되는 가속도 값을 측정하여, 4-11 m/s²의 결과를 보고하였다. Kim 등[16]은 낙상 직전에 가속도 최대 값을 LST M 모델을 활용하여 예측하였으며, Mean Absolute Percent Error (MAPE) 값이 약 6.7%라고 보고하였다. 해당 연구진들은 낙상 방향에 따라서 충격량이 다르다는 것을 확인하였고, 낙상 사고 발생 시에 충격값을 예측하여 낙상 방향을 조절함으로써 부상을 최소화할 수 있다고 보고하였다. 그러나 이는 낙상 동작에만 국한되어 있기 때문에 일상 생활 동작의 위험도를 동시에 예측할 필요가 있다.

Lee 등[17]은 건설현장에서 발생할 수 있는 동작들과 추락 및 낙상 동작의 위험도를 CNN, LSTM 등 다양한 딥러닝 기법을 통하여 예측하였으며, 이를 기반으로 추락 동작을 분류하였다. 낙상은 추락과 비교했을 때 가속도 최대값이 작기 때문에 일상생활 동작과 낙상 동작을 함께 훈련하여 이를 예측하는 것은 매우 도전적이다. 또한 낙상 데이터를 실제로 측정하기 힘들기 때문에 일상 생활 동작과 비교하여 데이터 불균형이 존재하며, 이를 극복하기 위해 데이터 증강기법이 사용되고 있다[16].

본 연구에서는 관성 센서에서 측정된 데이터와 증강기법을 적용한 데이터를 활용해 딥러닝 회귀분석을 진행하여, 일상 동작과 낙상 동작에 대한 위험도를 대변할 수 있는 가속도 SVM의 최대값을 예측하였다. 고령자의 낙상을 포함한 일상 생활 동작에서의 가속도 최대값을 예측하여 부상 위험도를 예측하는 모니터링 알고리즘을 개발하고자 하였다.

2. 방법

2.2 실험 장비

실험 데이터 측정에는 관성센서(Movella Dot, Movella, Netherlands)를 활용하였다. 관성센서는 피험자의 S2 위치에 부착되었으며, 60 Hz의 샘플링 주파수로 3축의 가속도 신호와 3축의 각속도 신호를 획득하였다. 실험 데이터는 블루투스를 통하여 스마트폰으로 csv 파일의 형태로 저장하였고, 실험 동작들은 영상과 함께 측정하여 동기화하였다. 수집된 데이터는 python 3.9 (Python Software Foundation, USA) 환경에서 TensorFlow 2.0 (Google, USA) 라이브러리를 통해 분석되었다. 데이터 분석은 intel i7-12700 2.1 GHz, 32 GB RAM, NVIDIA GeForce RTX3060, and Windows 11의 PC를 통해 진행되었다.

Fig. 1

IMU (Inertial Measurement Unit) sensor placement

2.3 실험 동작

본 연구의 실험 동작은 11개의 일상 생활 동작(ADL)과 14개의 낙상 동작(Fall)으로 구성 되어있으며, 각 동작들은 피험자 당 3회씩 반복 측정하였다(Table 1).

Table 1

Experimental movements

Fig. 2

Windowing example: fall movement

2.5 데이터 증강기법

일상 생활 동작과 낙상 간의 데이터 불균형을 해소하기 위하여 Noise Injection [18], Window Slicing [19], Scaling [20]의 전통적인 데이터 증강기법을 활용하였다. Noise Injection은 데이터에 평균이 0, 분산이 0.01인 Gaussian Normal Distribution을 더하는 방식으로 기존의 데이터에 무작위의 잡음을 더하는 기법이다[18]. Window Slicing 기법은 추출한 Window의 데이터 중 90%만 다시 추출하여 구성한 뒤 기존 데이터와 동일하게 Up Sampling하는 기법이다[19]. 마지막으로 Scaling 증강기법은 데이터에 0.8에서 1.2 사이의 난수를 랜덤하게 정한 뒤 곱하는 방식이다[20]. 모델 훈련을 위해서 낙상 데이터에만 증강기법을 적용하여 ADL과 낙상 동작 간의 데이터 비율을 조절하였다. Fig. 3는 실제 측정된 낙상 동작에 각각의 증강기법을 적용하여 증강된 데이터의 그래프이다.

Fig. 3

Data augmentation examples

2.6 딥러닝 모델

가속도의 최대값을 예측하기 위하여 딥러닝 모델을 활용하였다. 본 연구에서는 Conv1D와 LSTM 모델을 결합한 Conv-LSTM 모델을 활용하였다. Huang 등은[21] 이미지 특성 추출에서 흔히 많이 사용되는 Conv1D 모델이 시계열 데이터 분류 및 예측에서도 활용도가 높다고 보고하였다. LSTM 모델은 기존 시계열 데이터를 위해 개발된 RNN 모델에서 Vanishing Gradient Problem을 개선한 모델이다[22]. Lee 등[17]은 시계열 데이터 예측에 있어서, CNN 모델을 통해 데이터의 특성을 추출하여 LSTM 모델로 예측하였을 때 CNN 모델만 사용했을 때보다 성능이 좋아지는 것을 확인하였다.

Fig. 4

Deep learning model structure

관성센서의 6축 신호와 ASVM, GSVM의 총 8개의 특성이 입력데이터로 활용되었으며, 이를 통해 Impact 순간의 가속도 SVM의 최대값을 예측하는 회귀 모델을 구성하였다.

3. 결과

Table 2는 데이터 증강여부에 따른 모델의 가속도 최대값 예측 오차를 나타낸다. 일상 생활 동작의 오차를 살펴보면, 데이터 증강을 적용하였을 때 MAE, MSE에서 각각 1.09 g, 2.53 g²의 오차를 보였으며, 증강기법을 적용하지 않았을 때 각각 1.15 g, 2.85 g²의 오차를 보였다. 낙상 동작에 데이터 증강을 적용하였을 때 MAE, MSE 각각 1.32 g, 3.43 g²의 오차를 보였으며, 증강기법을 적용하지 않았을 때 각각 1.38 g, 3.19 g²의 오차를 나타냈다. 낙상 데이터 중 MSE의 경우 증강기법을 적용하였을 때 오차가 더욱 커지는 경향을 확인할 수 있다. 데이터 증강기법을 적용하지 않은 경우 MAE에서 1.25 g의 오차를 보였으며, MSE의 경우는 3.00 g²의 오차를 가지며, 두 가지 모두 데이터 증강기법을 활용한 경우(MAE: 1.19 g, MSE: 2.93 g²)보다 더 큰 오차를 보였다. 모든 경우에서 일상 생활 동작에서의 오차가 낙상 동작에서의 오차보다 작은 경향을 확인하였다.

Table 2

Performances of models

Fig 5는 각 모델에 따른 실험 동작에 대한 가속도 최대값의 예측값과 실제값을 평균과 표준편차로 나타낸 그래프이다. Fig 5의 A와 B의 경우 모두에서 ADL은 약 4 g보다 낮은 값으로 예측되었고, 낙상 동작들은 대략 4 g 이상의 높은 값을 보였다. F04와 F06의 경우 각각 앉으려다가 뒤로 넘어지기, 앉아있다가 옆으로 넘어지기로 비교적 낮은 높이에서의 낙상 동작이다. 이 동작들은 다른 낙상 동작들에 비해서 낮은 가속도 값을 가지며 예측 또한 낮게 되었다. D02와 D09는 각각 바닥에 앉았다 일어나기, 제자리에서 점프하기로 ADL 동작 중에서 다소 높은 가속도 최대값을 나타냈다. 모델 예측도 마찬가지로 다른 ADL에 비해서 높게 나타났다.

Fig. 5

True and predicted values (MAE vs MSE): A is the augmentation model and B is not

4. 토의

데이터 증강기법에 따른 예측 오차를 비교하였을 때 모든 증강기법을 동시에 적용하였을 때가 가장 좋았으며, 이를 증강기법을 적용하지 않았을 때와 비교하였다. Table 2의 데이터 증강 적용여부에 따른 결과를 비교해 보았을 때 증강을 적용한 경우에서 더 낮은 오차를 보였다. 이는 데이터 증강기법으로 낙상 데이터에 더욱 큰 가중치를 둘 수 있었기 때문이다[19].

MAE와 MSE는 예측값과 실제값의 오차를 나타내는 방식으로 MAE는 값의 차이를 단순하게 더하는 형태지만, MSE의 경우에는 값의 차이를 제곱의 형태로 더하는 형태이다. 따라서 MSE는 큰 오차에 더욱 민감하게 적용되어 값의 분포가 큰 높은 곳에서의 추락의 경우 MAE보다 MSE가 훈련에 더욱 적합했다[17]. 그러나 낙상의 경우 ADL과 비교하였을 때, 가속도 최대값의 분포 차이가 크지 않기 때문에 MAE와 MSE의 큰 차이는 나타나지 않았다.

증강 기법에 따라서 일생 생활 동작은 모두 오차가 더 줄어드는 모습을 볼 수 있는데, 낙상 데이터를 증강시켜 낙상 동작에 대한 가중치를 늘렸음에도 불구하고 MSE에서 낙상 동작의 오차가 커진 것을 확인할 수 있다.

F04, F07, F11과 같은 후방 낙상 동작에서 F04는 낮은 가속도 값을 보였지만[16] F11과 같은 동작은 다른 낙상 동작과 비슷한 결과를 나타냈다. F04, F06과 같은 의자에서 낙상이 발생하는 동작은 낮은 높이에서 발생하는 낙상으로 그 충격이 적기 때문에 예측되는 가속도 최대값 또한 작게 나타났다. 이 동작들은 치명적인 사고로 이어질 가능성이 적어 위험한 동작이 아니라고 판단된다 D02, D07, D09와 같은 ADL 동작 중에서도 위험도가 있는 동작들은 높은 가속도 최대값을 나타냈다. D02은 바닥에 앉는 동작으로 동작 수행 시 몸에 충격이 가해지며, D07은 발을 헛디디는 동작, D09는 점프 동작으로 해당 동작들 모두 충분히 낙상으로도 이어질 수 있는 위험한 동작이라고 볼 수 있다.

F01, F02, F03과 같은 동작의 경우 낙상이 발생하기 직전에 걷기와 뛰기와 같은 어느정도 가속도 값이 나타나는 동작이 수반되는 경우 예측값이 실제값보다 더 낮게 나타나는 경향을 확인할 수 있었다. 또한 동작에서 발생한 가속도 값의 편차가 큰 편에 속하며 이로 인하여 예측값과의 차이가 크게 나타냈다. 그러나 4 g 이상의 큰 가속도 최대값이 나타나는 것을 확인할 수 있기 때문에 ADL보다는 위험한 동작이라고 판단된다. ADL 중 D04 동작은 허리 숙여 물건 줍기의 동작으로 예측값이 크게 나타나는데, 이는 갑작스러운 각속도의 변화로 인해 나타난 결과라고 생각된다.

한편 실험 피험자들은 모두 젊은 건강한 남녀로 진행되었기 때문에 실제 고령자들에게 적용될지 모른다는 한계점을 가지고 있다. 추후에는 고령자들을 대상으로 측정된 공용 데이터셋 등을 통해 연구를 진행할 예정이다. 또한 Noise Injection, Window Slicing, Scaling과 같은 전통적인 방식의 데이터 증강기법뿐만 아니라 GAN 모델을 활용한 딥러닝 기반의 데이터 증강기법을 통해 모델을 고도화시킬 예정이다. 이를 통해 실제값보다 낮게 예측되는 F01, F02, F03와 같은 동작들과 실제값보다 높게 예측되는 D04와 같은 동작들의 오차를 줄일 수 있을 것으로 생각된다. 미래에는 위험도를 기반으로 환자의 상태를 모니터링 할 수 있는 어플리케이션 개발을 통해 계속해서 위험도를 확인하여 낙상 사고 혹은 위험한 동작이 발생했을 때 알림을 통하여 보호자의 빠른 대처를 기대할 수 있는 시스템을 개발할 예정이다.

5. 결론

본 연구진은 S2에 위치한 관성센서를 통해 딥러닝 기반의 회귀 모델을 활용하여 일상 생활 동작 및 낙상 동작에서 발생하는 가속도 SVM 최대값으로 대변되는 위험도를 예측하였다. MAE와 M SE의 두 가지 방식으로 딥러닝 모델을 훈련 및 평가하였다. 데이터 증강기법을 적용하였을 때 두가지 오차함수 모두(MAE: 1.19 g, MSE: 2.93 g²) 더 좋은 성능을 보여 전통적인 증강기법이 모델 성능에 좋은 영향을 끼쳤다고 판단된다. 고령자의 낙상 동작을 포함한 일상 생활 동작의 부상 위험도를 예측하는 모니터링 알고리즘을 개발하였다.

Acknowledgments

본 연구는 산업통상자원부와 한국산업기술진흥원의 “R&D재발견프로젝트”의 지원(P0024994)과 2023년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학 협력기반지역혁신 사업(2022RIS-005)의 결과이다.

REFERENCES

• World Health Organization, Falls. https://www.who.int/news-room/fact-sheets/detail/falls
• National Institute for Health and Care Excellence, Falls in older people: Assessing risk and prevention. https://www.nice.org.uk/guidance/cg161/chapter/introduction
• Hagen, G., Magnussen, J., Tell, G., Omsland, T., (2020), Estimating the future burden of hip fractures in Norway. A NOREPOS study, Bone, 131, 115156. [https://doi.org/10.1016/j.bone.2019.115156]
• Haslam-Larmer, L., Donnelly, C., Auais, M., Woo, K., DePaul, V., (2021), Early mobility after fragility hip fracture: A mixed methods embedded case study, BMC Geriatrics, 21, 1-14. [https://doi.org/10.1186/s12877-021-02083-3]
• Blackburn, J., Ousey, K., Stephenson, J., Lui, S., (2022), Exploring the impact of experiencing a long lie fall on physical and clinical outcomes in older people requiring an ambulance: A systematic review, International Emergency Nursing, 62, 101148. [https://doi.org/10.1016/j.ienj.2022.101148]
• Statistics Korea, 2022 elderly statistics. https://kostat.go.kr/board.es?mid=a10301060500&bid=10820&act=view&list_no=420896&tag=&nPage=1&ref_bid=
• Boyé, N. D., Van Lieshout, E. M., Van Beeck, E. F., Hartholt, K. A., Van der Cammen, T. J., Patka, P., (2013), The impact of falls in the elderly, Trauma, 15(1), 29-35. [https://doi.org/10.1177/1460408612463145]
• Koo, B., Kim, J., Nam, Y., Kim, Y., (2021), The performance of post-fall detection using the cross-dataset: feature vectors, classifiers and processing conditions, Sensors, 21(14), 4638. [https://doi.org/10.3390/s21144638]
• Jung, H., Koo, B., Kim, J., Kim, T., Nam, Y., Kim, Y., (2020), Enhanced algorithm for the detection of preimpact fall for wearable airbags, Sensors, 20(5), 1277. [https://doi.org/10.3390/s20051277]
• Sucerquia, A., López, J. D., Vargas-Bonilla, J. F., (2017), SisFall: A fall and movement dataset, Sensors, 17(1), 198. [https://doi.org/10.3390/s17010198]
• Yu, X., Jang, J., Xiong, S., (2021), A large-scale open motion dataset (KFall) and benchmark algorithms for detecting preimpact fall of the elderly using wearable inertial sensors, Frontiers in Aging Neuroscience, 13, 692865. [https://doi.org/10.3389/fnagi.2021.692865]
• Yu, X., Koo, B., Jang, J., Kim, Y., Xiong, S., (2022), A comprehensive comparison of accuracy and practicality of different types of algorithms for pre-impact fall detection using both young and old adults, Measurement, 201, 111785. [https://doi.org/10.1016/j.measurement.2022.111785]
• Klenk, J., Schwickert, L., Palmerini, L., Mellone, S., Bourke, A., Ihlen, E. A., Kerse, N., Hauer, K., Pijnappels, M., Synofzik, M., (2016), The FARSEEING real-world fall repository: A large-scale collaborative database to collect and share sensor signals from real-world falls, European Review of Aging and Physical Activity, 13, 1-7. [https://doi.org/10.1186/s11556-016-0168-9]
• Hajiaghamemar, M., Seidi, M., Ferguson, J. R., Caccese, V., (2015), Measurement of head impact due to standing fall in adults using anthropomorphic test dummies, Annals of Biomedical Engineering, 43, 2143-2152. [https://doi.org/10.1007/s10439-015-1255-1]
• Arena, S. L., Davis, J. L., Grant, J. W., Madigan, M. L., (2016), Tripping elicits earlier and larger deviations in linear head acceleration compared to slipping, PloS one, 11(11), e0165670. [https://doi.org/10.1371/journal.pone.0165670]
• Kim, T. H., Choi, A., Heo, H. M., Kim, H., Mun, J. H., (2020), Acceleration magnitude at impact following loss of balance can be estimated using deep learning model, Sensors, 20(21), 6126. [https://doi.org/10.3390/s20216126]
• Lee, S., Koo, B., Yang, S., Kim, J., Nam, Y., Kim, Y., (2022), Fall-from-height detection using deep learning based on IMU sensor data for accident prevention at construction sites, Sensors, 22(16), 6107. [https://doi.org/10.3390/s22166107]
• Iglesias, G., Talavera, E., González-Prieto, Á., Mozo, A., Gómez-Canaval, S., (2022), Data augmentation techniques in time series domain: A survey and taxonomy. https://arxiv.org/abs/2206.13508
• Wen, Q., Sun, L., Yang, F., Song, X., Gao, J., Wang, X., Xu, H., (2020), Time series data augmentation for deep learning: A survey, arXiv preprint arXiv:2002.12478. [https://doi.org/10.24963/ijcai.2021/631]
• Um, T. T., Pfister, F. M., Pichler, D., Endo, S., Lang, M., Hirche, S., Fietzek, U., Kulić, D., (2017), Data augmentation of wearable sensor data for parkinson’s disease monitoring using convolutional neural networks, Proceedings of the 19th ACM International Conference on Multimodal Interaction, 216-220. [https://doi.org/10.1145/3136755.3136817]
• Huang, S., Tang, J., Dai, J., Wang, Y., (2019), Signal status recognition based on 1DCNN and its feature extraction mechanism analysis, Sensors, 19(9), 2018. [https://doi.org/10.3390/s19092018]
• Hochreiter, S., Schmidhuber, J., (1997), Long short-term memory, Neural Computation, 9(8), 1735-1780. [https://doi.org/10.1162/neco.1997.9.8.1735]