본 연구의 목적은 IMU 신호를 기반으로 여러 조건의 보행 중 정상상태 에너지소모량을 추정하는 신경망 모델을 구현하고 추정 성능을 비교 분석하는 것이다. 본 연구에서는 에너지소모량 추정을 위한 방법으로 참고문헌[20]에서 제시된 두 가지 방식을 채택하였다.

첫 번째 방법(M1)은 센서 데이터를 발꿈치가 닿는 순간(Heel Strike)을 기준으로 분할하여 각 보행 주기 동안의 센서 데이터를 입력으로 사용하는 다층 퍼셉트론(Multi-layer Perceptron, MLP) 모델에 해당한다. 이때 보행 주기마다 소요되는 시간은 서로 상이하므로, 데이터 길이 또한 서로 다르게 나타난다. 이에 각 보행 주기 동안의 데이터를 일정한 길이로 보간하여 사용하며, 본 연구에서는 참고문헌[20]에 따라 보간 크기를 30개로 설정하였다. 또한 피험자의 신체에 따른 영향을 반영할 수 있도록 피험자의 몸무게와 신장을 입력 데이터로 추가하였다. 모델의 구조는 182차원(시계열 길이 30 × IMU 신호 6개+신체 정보 2개)의 입력 신호를 받는 입력층과 400개의 뉴런을 갖는 3개의 은닉층(Hidden Layer), 그리고 400차원의 벡터를 입력으로 받아 최종적으로 1차원의 값을 출력하는 완전연결층(Fully Connected Layer)으로 구성된다. 이때 은닉층에서는 활성화 함수로 ReLU(Rectified Linear Unit) 함수를 사용한다. 두 번째 방법(M2)은 특정 길이의 시계열 데이터를 입력으로 받아 시간의 순서로 연산을 진행하는 RNN 모델에 해당한다. 이때 참고문헌[20]에 따라서 4초 동안의 데이터에 해당하는 250개 시계열 데이터를 입력으로 사용하였다. 이때 피험자의 신체 정보는 가장 마지막의 층에서 이전 층의 출력값과 함께 입력받는 구조로 설계하였다. 모델의 구조는 길이가 250개에 해당하는 6차원 IMU 신호의 시계열 데이터를 입력으로 받는 입력층과 64개의 은닉 유닛을 갖는 2개의 장시간메모리(Long Short-term Memory, LSTM)층, LSTM층에서 출력되는 시계열 데이터를 1차원 배열로 변환하는 평탄화층(Flatten Layer), 그리고 평탄화층의 출력 벡터와 피험자의 몸무게 및 신장을 함께 입력으로 받아 1차원의 값을 출력하는 완전연결층으로 구성된다. Fig. 1은 M1과 M2의 입력 신호의 유형을 보여준다.

Fig. 1 
Input type for Method 1 and 2

M1과 M2 모두, 모델 학습 시 입/출력 데이터를 0에서 1 사이의 범위를 갖도록 최소-최대 정규화를 적용하였다. 학습 과정에서 손실함수로 평균 제곱 오차(Mean Squared Error, MSE)를 사용하였으며, 최적화 기법으로는 Adam (Adaptive Moment Estimation)을 적용하였다. 학습 에포크(Epoch) 수는 150번, 배치 크기는 64개로 설정하였으며, 최적의 모델 파라미터를 찾기 위해 학습률을 조정하는 기법 중 하나인 원사이클 스케줄링(One Cycle Scheduling) 기법을 적용하였다. 이때 최대 학습률은 10^-3으로 설정하였다. 모델의 과적합(Overfitting) 문제를 방지하기 위하여 모델의 각 층마다 0.5의 드롭아웃(Dropout)을 적용하고, 모델 학습 시에 L2 정규화를 적용하였다. 신경망 모델의 구현은 딥러닝(Deep Learning)을 위한 Python 기반의 프레임워크 중 하나인 PyTorch를 사용하여 진행되었다.

에너지소모량 추정용 모델의 학습과 검증을 위해, 6명의 건강한 남성 피험자(나이: 24.7±1.7세, 키: 1.75±0.05 m, 몸무게: 72.9±6.9 kg)를 대상으로 트레드밀 보행 및 주행 실험을 진행하여 데이터를 수집하였다. 본 연구의 실험은 공용기관 생명윤리위원회로부터 승인을 받아 진행되었다(P01-202110-13-001).

IMU 신호는 가속도계, 자이로스코프 그리고 마그네토미터를 포함하는 9축 IMU 모듈인 MTw (Xsens Technologies B.V, Enschede, Netherlands)를 통해 100 Hz의 샘플링률로 측정되었으며, 차단주파수가 6 Hz인 4차 Butterworth 저주파 통과 필터(Low-pass Filter)에 통과시켰다. 이때 IMU는 가슴, 오른쪽 손목, 오른쪽 다리의 허벅지, 정강이, 그리고 발에 스트랩 밴드를 통해 부착되었다. 에너지소모량의 참조값(Truth Reference) 산출에 필요한 산소 호흡량과 이산화탄소 배출량은 호흡가스 대사분석시스템 K5 (Cosmed, Rome, Italy)를 통해 매호흡(Breath by Breath)마다 측정되었으며, 에너지소모량은 Brockway 방정식[7]을 이용하여 산출되었다. 보행 감지에 필요한 지면반력은 힘판내장형 트레드밀(Advanced Mechanical Technology, Inc., Watertown, MA, USA)을 통해 측정되었다. Fig. 2는 본 실험 환경을 보여준다.

Fig. 2 
Experimental setup

실험에서는 2가지 속도(4, 6 km/hour, KPH)의 평지 보행과 2가지 속도(7.5, 9 KPH)의 평지 주행, 그리고 2가지 속도(4, 6 KPH) 및 2가지 경사(3, 6%)의 경사 보행을 진행하였다. 이때 보행과 주행 실험의 속도는 사람들이 흔히 일상생활 중에 걷거나 뛸 수 있는 속도의 범위를 고려하여 선정되었다. 호흡이 안정된 상태에서 호흡량을 측정하기 위하여 각 실험 이전에 최소 3분 이상의 휴식을 취하도록 하였다. 보행 및 주행 실험 모두 처음 1분 동안 정적상태를 유지한 후에 트레드밀의 구동을 시작하였다. 이후 보행 실험에서는 8분 30초, 주행 실험에서는 6분 30초가 되었을 때 구동 종료 버튼을 누른 후에, 총 실험시간이 각각 10분 및 8분이 될 때까지 정적상태를 유지하도록 하였다. Fig. 3은 각 보행 및 주행 실험에 대한 트레드밀의 속도 그래프를 보여준다. 모든 보행/주행 실험은 각각 2번씩 반복 수행되었다. 각 보행 조건에 대한 정상상태 에너지소모량은 트레드밀 감속 직전 5분 동안의 측정값에 평균을 취함으로써 산출하였다.

Fig. 3 
Treadmill speed profile for each walking/running test

모델의 검증 방식으로는 학습 및 검증 데이터를 피험자별로 교차하여 검증하는 방식인 Leave-one-out Subject 교차검증을 채택하였다. 이때 데이터셋으로 (Dataset 1) 평지/경사 보행 실험 데이터, (Dataset 2) 평지 보행/주행 실험 데이터, 그리고 (Dataset 3) 모든 실험 데이터로 나누어 모델의 학습과 테스트를 수행하였다. 모델의 성능은 피험자의 몸무게로 정규화된 평균 제곱근 오차(Normalized Root Mean Squared Error, NRMSE)와 에너지소모량의 참값에 대한 평균 절대 백분율 오차(Mean Absolute Percent Error, MAPE)를 이용하여 평가되었다. 이때 NRMSE와 MAPE 모두 정상상태의 보행(1분 30초-8분 30초)과 주행(1분 30초-6분 30초) 구간의 결과값을 산출하였다.

Table 1은 Datasets 1-3을 통해 학습된 M1과 2의 추정 NRMSE와 MAPE 결과를 보여준다. 이때 Dataset 3을 학습시킨 모델의 결과에서는, 테스트 데이터로 Datasets 1-3 각각에 대한 결과를 함께 비교하였다.

Dataset 1을 학습/테스트에 사용한 결과에서, M1과 2 모두 발에 부착된 센서기반 모델이 가장 높은 성능(M1: 0.95 W/kg, M2: 1.02 W/kg, 이하 단위생략)을 보였다. 그 다음으로 우수한 성능을 보인 센서 부착위치로는 M1에서는 정강이(1.09), M2에서는 가슴(1.11)에 해당하였다. 또한 M1과 2를 비교하였을 때, 가슴을 제외한 나머지 위치에서 모두 M1이 우세한 성능을 나타냈다.

Dataset 2를 학습/테스트에 사용한 결과에서, M1의 경우에는 발(0.87), 그 다음으로는 가슴(0.88)에 부착된 센서의 모델이 우수한 성능을 보였으며, M2는 가슴(0.83), 그 다음으로는 손목(1.12) 부착 모델이 우수한 성능을 보였다. 또한 Dataset 1과 마찬가지로 대부분의 부착 위치에 대해서는 M1이 우세하였으나, 가장 높은 성능을 나타낸 모델은 M2의 가슴 부착 모델에 해당하였다.

다음은 Dataset 3을 학습에 사용한 결과이다. Dataset 1의 테스트 결과에서 M1과 2 모두 발 부착 모델(M1, 2: 약 0.86)이, 그 다음으로 M1은 정강이(1.01), M2는 가슴(1.15)의 모델이 우수한 성능을 보였다. 이는 Dataset 1을 학습시킨 모델에 비해 우세한 성능에 해당한다. Dataset 2의 테스트 결과에서는 M1의 경우에 발(0.91)과 정강이(1.04), 그리고 M2의 경우에 가슴(1.28)과 정강이(1.37) 순으로 성능이 우수하였다. 이는 Dataset 2를 학습시킨 모델에 비해 저하된 성능에 해당한다. Dataset 3의 결과에서 NRMSE 기준으로 M1과 2 모두 발(M1: 0.89, M2: 1.14)과 정강이(M1: 1.05, M2: 1.23) 순으로 높은 성능을 보였으나, MAPE 기준으로는 M2의 가슴(14.98%)의 성능이 정강이(16.50%)보다 높게 나타났다. M1과 2를 비교하였을 때, Dataset 1을 제외한 나머지에 대해서는 M1의 성능이 우세하였다.

Dataset 3을 학습시킨 결과의 일부 예시로 Figs. 4와 5는 각각 발과 정강이의 센서 기반 M1과 M2의 에너지소모량 추정결과를 보여준다. 이는 평균적으로 우수한 성능을 나타낸 피험자의 결과이다. Fig. 4에서 M1과 M2 모두 여러 보행/주행 조건별 참조 에너지소모량을 높은 성능으로 추종하는 모습을 보였으며, 이 중 M1이 M2 대비 비교적 참조값에 근접한 추정 결과를 보였다. Fig. 5에서 M1은 Fig. 4의 결과와 유사한 추정 성능을 보인 반면에 M2는 6 KPH 보행 구간에서 오차가 비교적 크게 발생하는 모습이 확인되었다.

Fig. 4 
Energy expenditure (EE) estimation results of Datasets 1 and 2 from the (a) M1 and (b) M2 based on the foot-attached IMU

Fig. 5 
Energy expenditure (EE) estimation results of Datasets 1 and 2 from the (a) M1 and (b) M2 based on the shank-attached IMU

3장 1절에서는 에너지소모량 추정에 있어, 센서 부착위치별, 추정방법별, 그리고 학습/테스트 데이터셋별 추정 성능을 비교하였다.

대부분의 결과에서 하체 분절에 부착된 센서 기반 모델의 성능이 가슴이나 손목의 모델에 비해서 우수하게 나타났다. 특히 M1의 경우에는 Dataset 2의 학습 결과를 제외한 나머지의 결과에서 발, 정강이, 허벅지, 가슴, 손목 순으로 성능이 우수하였다. 지면에 가까운 발과 정강이 등의 하체 분절들은 움직임이 지면의 경사와 보행/주행 속도에 따라서 크게 영향을 받기 때문에, 경사와 속도별로 동작의 패턴이 명확할 것으로 추측된다.

그에 반해 Dataset 2의 결과에서는 가슴 부착 모델의 성능이 하체 분절들의 모델에 비해 우수하였으며, 손목 또한 다른 데이터셋에 비해서 향상된 성능을 보였다. 선행 연구에서 상체에 부착된 IMU를 이용하여 보행 속도의 추정과 패턴 분류, 그리고 주행 중 하체의 운동학 추정 등이 가능하다는 것을 확인한 바 있다[23-25]. 이를 통해 알 수 있듯이, 가슴과 손목을 포함한 상체 분절들도 마찬가지로 보행 또는 주행 속도에 따라서 움직이는 속도와 패턴이 명확하게 달라지며, 따라서 상체 부착 IMU가 Dataset 2와 같은 평지 보행/주행 중 에너지소모량의 추정에는 효과적인 것으로 판단된다. 반면에 경사 보행을 포함한 데이터셋(Datasets 1과 3)의 결과에서는 성능 저하를 나타낸 것으로 보아, 가슴과 손목의 동작 패턴이 보행 경사에 따라서는 명확하지 않은 것으로 추측된다. 이는 보행 경사가 상체 분절의 움직임에 끼치는 영향이 하체 분절에 비해 비교적 작다는 것을 암시한다. 예를 들어, 경사가 높아질수록 상체보다는 하체, 특히 발의 움직임이 크게 변화할 것으로 예상 가능하다. 이를 통해 다양한 경사와 속도의 보행/주행 중 에너지소모량을 추정함에 있어서는 센서 부착위치로 상체보다 하체의 분절을 선정하는 것이 적합하다고 할 수 있다.

M1과 2의 성능을 비교하였을 때, Dataset 2의 학습 결과를 제외한 나머지의 결과에서 모두 M1의 성능이 우수하게 나타났다. M1은 각 보행 주기 동안의 데이터를 MLP 모델에 입력시키는 반면, M2는 일정 시간 동안의 시계열 데이터를 입력으로 받은 후에, LSTM을 통해 시간 흐름에 따른 센서 신호의 패턴을 찾아내는 방식이다. 보행 또는 주행은 입각기(Stance Phase)와 유각기(Swing Phase)가 반복되는 주기적인 동작이라는 점을 고려하였을 때, 일정한 시간의 데이터보다는 각 보행 주기 동안의 데이터에서 보행 조건별 패턴이 비교적 명확할 것으로 추측 가능하다. 따라서 에너지소모량 추정에 있어서 M1이 M2에 비해서 효과적인 것으로 판단된다.

다만, M1에서는 입력 데이터를 구성하기 위하여 보행 감지, 즉 발꿈치가 지면에 접촉하는 순간을 감지하는 과정이 요구된다. 이는 지면반력 또는 IMU 데이터[26]를 이용하여 감지할 수 있다. 전자의 경우에는 정확한 보행 감지가 가능하지만, 지면반력을 측정하기 위해 힘판 또는 깔창 압력 센서가 함께 사용되어야 하므로 IMU 단독으로 사용할 수 없다는 문제가 발생한다. 후자의 경우에는 IMU의 각속도 신호 또는 회전 각도를 기반으로 감지가 이뤄지지만[23], 알고리즘에 따라서 감지 성능이 저하될 수 있다는 문제가 있다. 특히, 다양한 경사와 속도의 보행/주행에 대해서는 부정확한 감지가 이뤄질 수 있으며, 이는 결과적으로 에너지소모량 추정 성능 저하로 이어지게 될 것이다. 반면 M2는 보행 주기가 아닌 일정한 시간 동안의 시계열 센서 데이터를 입력으로 사용하기 때문에, 보행 감지 등의 과정을 필요로 하지 않는다는 큰 이점을 지닌다. 다만 M1의 입력 데이터에 비해 패턴이 명확하지 않기 때문에, 시계열 데이터로부터 유의미한 패턴을 추출할 수 있는 최적의 기계학습 기법과 구조의 선정이 중요한 것으로 판단된다.

기존에 에너지소모량 추정을 위해 개발됐던 모델은 대부분 IMU 원신호로부터 추출된 특징값(예: 최소, 최대, 평균, 표준편차, 백분위 등)을 사용하는 반면, 본 연구에서 구현된 모델은 IMU 원신호를 직접적으로 사용한다는 점에서 차이가 있다. 에너지소모량을 단순 예측하는 과정에 있어서는 특징값을 사용하는 것이 효율적일 수 있지만, 입력으로 사용되는 다양한 특징값이 에너지소모량 추정에 있어서 중요한 모든 패턴을 포함하지는 못한다. 반면, 본 연구에서 적용된 접근법은 모델 내 은닉층을 통해 원신호로부터 유의미한 특징을 추출할 수 있도록 학습이 이뤄진다. 따라서 원신호를 직접적으로 입력 받는 신경망 모델이 특징값을 사용하는 모델에 비해 유리하다고 판단된다.