제안되는 인공신경망은 신체 골반에서 발까지의 분절 상대위치를 추정한다. 인접한 두 분절간 상대위치는 다음 식(1)과 같이 결정할 수 있다(Fig. 1 참조).

Fig. 1 
Relative positions between body segments

여기서 윗첨자 i 그리고 k는 해당 벡터가 각 분절의 분절부착좌표계에서 관찰되었음을 의미한다. ⁱp_i,k는 i분절에서 k분절까지의 상대위치 벡터, ⁱs_i,j1와 ^ks_k,j1는 각각 i와 k분절에서 두 분절 사이에 존재하는 관절 j₁까지의 S2J 벡터, kiR는 k분절의 자세를 i분절에서 바라보는 상대자세행렬이다. 관성센서는 위치정보를 제공하지 않기 때문에 S2J 벡터는 미리 상수로 결정되며, 각 분절의 자세는 분절에 부착된 관성센서의 신호를 사용하여 자세 추정 알고리즘을 통해 실시간으로 추정된다[18-21]. k 분절을 공통된 인접 분절로 갖는 두 분절 i 그리고 l의 상대위치 ⁱp_i,l는 다음 식(2)와 같이 결정된다.

여기서 ^kp_k,l은 k 분절에서 l 분절까지의 상대위치 벡터로, 각각 분절 k와 l에서 관절 j₂까지의 S2J 벡터 ^ks_k,j2, ^ls_l,j2 그리고 k와 l의 상대자세행렬 lkR을 활용하여 식(1)과 동일하게 결정할 수 있다. 이와 같이 식(1)과 식(2)를 활용해 다수의 관절로 이루어진 신체 분절간 상대위치를 전파하여 결정할 수 있다. 하지만이 방법을 통해 분절의 상대위치를 결정하는 것은 각 분절과 관절이 각각 강체와 기계식 관절로 이루어져 있다는 가정을 기반으로 한다. 즉, S2J 벡터의 변형이 없다고 가정하여 상수로 미리 결정된다. 하지만 실제 S2J 벡터는 분절의 피부, 지방 그리고 근육과 같은 연조직에 의해 영향을 받아 불가피하게 변형된다.

선행 연구에서는 이러한 분절의 STA를 고려하기 위해 굴절각을 S2J 벡터의 변형 관련 변수로 설정하였으며, 회귀법을 통해 굴절각에 따라 S2J 벡터를 시변화하는 함수를 도출하였다. 본 논문에서는 굴절각만을 S2J 벡터의 변형 관련 변수로 사용한 기존 방법과 달리 관절의 세 축 모두를 변형 관련 변수로 사용한다. 또한 관절각에 변화에 따른 S2J 벡터를 보다 정밀하게 고려하기 위해 회귀법이 아닌 인공신경망 모델을 구성하여 학습시킨다. S2J 벡터를 시변화하는 근본적인 이유는 STA와 연관이 있는 특정한 변수로 STA를 보상하여 상대위치를 정확히 추정하기 위함이다. 따라서 변형 관련 변수인 관절각에 따라 S2J 벡터를 시변화하는 모델이 아닌 분절 상대위치를 직접적으로 결정하는 모델을 추가적으로 구성하여 학습시킨다.

모델 학습단계에서 필요한 데이터는 하지 관절의 참조 관절각, 참조 S2J 벡터 그리고 분절간 참조 상대위치 데이터이다. 하지 관절의 참조 관절각은 광학식 모션캡처 시스템으로 획득된 센서의 참조자세를 통해 결정된다. 참조 S2J 벡터의 경우 실제 관절 중심부의 계측은 어렵기 때문에 S2J 벡터의 참값을 획득하는데는 한계점이 있다. 본 연구의 목적은 분절의 STA를 보상하여 상대위치 추정 정확도를 향상시키는 것이므로 참조 상대위치와 미리 결정된 상수 S2J 벡터를 활용하여, 참조 상대위치를 만족하는 S2J 벡터를 참조 S2J 벡터로 사용하였다. 참조 상대위치를 만족하는 S2J 벡터 s^는 다음 식(3)과 식(4)와 같이 결정할 수 있다[17].

여기서 p와 d는 관절 j를 기준으로 각각 신체 중심부(Proximal)에 가까운 분절 그리고 말단부(Distal)에 가까운 분절이다. 예를들어 무릎관절의 경우 중심부 분절은 허벅지이며 말단부 분절은 종아리이다. s¯는 상수로 결정된 S2J 벡터, dpRref는 참조 상대자세, ppp,d,ref는 참조 상대위치 벡터 그리고 μ는 각 참조 S2J 벡터의 비율을 결정하는 가중치로 0과 1 사이의 값이다. 상수 S2J 벡터 s¯는 광학식 모션캡처 시스템을 사용하는 최적화 기법[22]을 통해 결정하였다.

각 모델은 참조값을 통해 학습된 후 검증단계에서 관성센서를 통해 추정된 관절각과 상대자세를 사용하여 상대위치를 추정한다. 관절각과 상대자세를 실시간으로 추정하기 위해 자세추정 칼만 필터 알고리즘[18]을 사용하였다.

S2J 벡터를 시변으로 결정하기 위한 인공신경망 모델의 구조는 다음과 같다(Fig. 2 참조). 모델은 2개 이상의 은닉층(Hidden Layer)을 갖는 심층신경망(Deep Neural Network)에 해당한다. 첫 번째 층은 입력층으로, 입력층의 각 노드(Node)는 독립변수로 구성된다. 독립변수는 각 하지 관절(발목, 무릎, 고관절)의 3축 관절각이므로 입력층 노드의 총 개수는 9개이다. 두 번째와 세 번째 층은 은닉층이다. 은닉층은 모델 학습 과정을 통해 각 노드의 가중치가 갱신되는 층으로 각 은닉층은 20개의 노드로 구성된다. 마지막으로 네 번째 층은 출력층으로 구성된다. 출력층의 각 노드는 하지 관절의 관절각을 통해 결정되는 Foot-to-Ankle에서부터 Pelvis-to-Hip까지 총 6개, S2J 벡터의 x, y, 그리고 z축 성분으로 총 18개의 노드로 구성된다.

Fig. 2 
Architecture of the proposed deep ANNs

상대위치를 직접적으로 결정하는 인공신경망 모델의 구조는 다음과 같다. 입력층과 은닉층은 S2J 벡터를 시변으로 결정하기 위한 모델과 같다. 다만 이 모델의 경우 상대위치를 직접적으로 결정하므로, 출력층은 최종적으로 추정하고자 하는 골반에서 발까지의 상대위치 벡터의 x, y 그리고 z축 성분으로 총 3개의 노드로 구성된다.

각 은닉층 노드의 출력신호는 노드에 입력되는 입력신호를 각각의 가중치와 곱하여 더해진 후 활성화 함수를 통과해 다음 층으로 전달된다. 본 연구에서는 활성화 함수로 인공신경망에서 가장 널리 쓰이는 함수 중 하나인 ReLU 함수를 사용하였다[23].

여기서 f는 ReLU 활성화 함수이며, x는 노드에 입력되는 입력신호와 노드의 가중치가 곱해진 후 편향값과 더해진 결과값으로 다음 식(6)과 같다.

여기서 i_p(p = 1, 2, , m)는 이전 층에서 전달되는 입력신호, w_p 는 각 입력신호에 대응되는 가중치, b는 노드의 편향값 그리고 m은 이전 층 입력신호의 총 개수를 의미한다.

인공신경망은 역전파(Backpropagation)를 통해 손실함수를 최소화하는 방향으로 각 노드의 가중치를 갱신하여 학습된다. 본 모델 학습에 사용된 손실함수는 평균제곱오차(Mean Squared Error, MSE)로 다음 식(7)과 같다.

여기서, y_i는 참조값이며, y^i는 모델을 통해 예측된 값이다. 모델 학습을 위한 최적화 함수는 모멘텀 경사하강법(Gradient Descent with Momentum)과 평균제곱근전파(Root Mean Square Propagation, RMSProp)를 동시에 사용하는 학습법 Adam을 사용하였다[24]. 학습 안정성을 향상시키고, 스케일과 관련된 입력 데이터의 편향성을 제거하기 위해 입력 데이터는 모두 0의 평균과 1의 표준편차를 갖도록 표준화하였다[25]. 또한 과적합을 방지하고 학습시간을 최소화하기 위해 설정된 에폭(Epoch) 동안 학습을 통해 검증 데이터의 손실이 더 이상 낮아지지 않으면 학습을 사전에 종료하는 Early Stopping 알고리즘을 사용하였다. 인공신경망 모델은 텐서플로우(Tensorflow, v. 2.6.0) 그리고 케라스(Keras, v. 2.6.0)를 사용해 구글 코랩(Google Colab) 환경에서 설계 및 구현되었다.

실험은 3명의 건강한 성인 남성 피실험자(나이: 27±0.5세, 키: 177±5.2 cm)를 대상으로 진행하였다. 학습 및 검증에 필요한 데이터를 얻기 위해 3축 가속도계, 3축 자이로스코프 그리고 3축 지자기 센서로 이루어진 관성센서 모듈 Mtw (Xsens Technologies B. V., Netherlands)를 사용하였다. 각 관성센서는 분절의 자세를 실시간으로 추정하기 위해 벨크로를 이용하여 발, 종아리, 허벅지 그리고 골반에 부착되었다(Fig. 3 참조). 또한 학습에 필요한 참조값을 얻기 위해 광학식 모션캡처 시스템인 Optitrack Flex 13(Natural Point, USA)을 사용하여 각 분절 간의 참조 상대위치와 센서의 참조자세를 획득하였다.

Fig. 3 
Experimental setup with inertial sensors and optical markers

하지 분절 S2J 벡터의 변형을 다양한 하지 관절의 움직임에서 고려하기 위해 실험은 하지 분절의 S2J 벡터를 충분히 변형시킬 수 있는 네 가지 특정 동작을 반복하여 진행하였다. 각각의 실험 동작은 다음과 같다(Fig. 4 참조).

Fig. 4 
Test motions

• Test 1: 제자리에서 무릎 들어올리기(Fig. 4(a))
• Test 2: 의자에서 앉았다 일어나기(Fig. 4(b))
• Test 3: 하프스쿼트(Fig. 4(c))
• Test 4: 풀스쿼트(Fig. 4(d))

각 실험은 5번씩 약 2분간 수행되었다. 데이터는 100 Hz로 샘플링되어 수집되었다. 피험자별로 각 실험의 첫 번째 시행 데이터는 인공신경망 모델의 학습과 회귀법을 통한 회귀 모델을 만들기 위해 학습 데이터로 사용되었다. 인공신경망 모델 학습을 위해 학습 데이터의 20%는 검증용 데이터로 사용하였다. 학습과 검증을 위한 데이터를 제외한 나머지 데이터는 모델의 성능 평가를 위해 활용하였다. 실험 대상자마다 센서를 부착한 위치와 분절의 길이 등이 다르기 때문에 관절각에 따른 S2J 벡터가 다르다. 따라서, 인공신경망 모델과 회귀 모델은 실험 대상자마다 개별적으로 생성되었다.

본 논문에서 제안하는 인공신경망 모델을 통한 상대위치 추정 성능을 검증하기 위해 네 가지의 추정 방법을 비교 분석하였다. 첫 번째 방법(M1)은 S2J 벡터의 변형 관련 변수로 관절의 굴절각을 사용하여 회귀법을 통해 S2J 벡터를 시변화한 방법이며, 두 번째 방법(M2)는 관절의 세 관절각을 모두 사용하여 회귀법을 통해 S2J 벡터를 시변화한 방법이며, 세 번째 방법(M3)과 네 번째 방법(M4)은 본 논문의 제안 방법으로 인공신경망 모델을 통해 S2J 벡터를 시변화한 방법 그리고 인공신경망 모델을 통해 상대위치를 직접적으로 결정하는 방법이다. 데이터를 기반으로 변수간 상관관계를 도출하기 위해 M1과 M2는 각각 커널(Kernel) 회귀와 다항(Polynomial) 회귀를 이용하였다. 네 방법 모두 학습단계에서 참조자세를 통해 계산되는 관절각을 입력변수로 사용하지만, 평가단계에서는 관성센서를 통해 실시간으로 추정된 관절각을 사용하였다. 따라서 각 방법은 실시간으로 상대위치를 추정하였다. 상대위치를 직접적으로 추정하는 M4를 제외한 다른 방법들은 식(1)과 식(2)를 통해 상대위치를 추정하기 위해 관성센서로 추정된 자세를 사용한다. 각 방법의 분절 상대위치 추정 정확도는 평균제곱근오차(Root Mean Squared Error, RMSE)를 통해 비교한다. 또한, 식(5)에서 참조 S2J 벡터의 비율을 결정하는 μ는 0.5로 설정하였다.

Table 1은 실험에 참가한 3명의 피실험자(Subjects 1-3) 각각에 대해 Tests 1부터 4까지의 각 방법별 분절간 상대위치 추정 평균 RMSE를 보여준다. 각 실험의 RMSE는 학습데이터를 제외한 4개의 시행 데이터에 대한 평균 RMSE이다. M4의 경우 골반에서 발까지의 상대위치를 직접적으로 추정하기 때문에 부분적인 인접 분절간 상대위치에 대한 추정 결과에서는 제외되었다.

굴절각만을 고려하여 회귀법을 통해 S2J 벡터를 시변화하는 M1은 3명의 피실험자에 대해 골반에서 발까지의 상대위치 추정 평균 RMSE가 17.38 mm로 상대적으로 가장 큰 오차 수준을 나타냈다. 반면 세 관절각을 고려한 M2, M3 그리고 M4의 평균 RMSE는 각각 15.45, 12.71 그리고 14.11 mm로 M1보다 상대적으로 우세한 성능을 보였다. 따라서 S2J 벡터를 시변화함에 있어 대부분의 경우 굴절각만을 고려하는 것보다 세 관절각을 모두 고려하는 것이 STA를 적절히 보상하여 정확한 상대위치 추정을 할 수 있었다. 하지만, 허벅지에서 종아리까지의 상대위치 추정에서는 M1의 추정 정확도가 M2와 비슷하거나 더 우수한 경우가 다수 존재하였다. 허벅지에서 종아리까지의 상대위치는 무릎관절에 인접한 두 S2J 벡터를 통해 결정된다. 이때 무릎관절은 세 축 회전에 대한 움직임이 상대적으로 자유로운 발목, 고관절과 달리 굴절 축에 대한 움직임이 지배적이므로 다른 두 축을 제외한 굴절각에 밀접한 영향을 받는다. 따라서 회귀법을 통해 세 축의 관절각을 모두 고려하여 S2J 벡터를 시변화한 M2보다 굴절각만을 고려한 M1이 더 좋은 상대위치 추정 정확도를 보여주는 경우가 존재하였다.

관절각의 세 축을 모두 고려하는 방법 M2, M3 그리고 M4를 비교한다. 대부분의 분절 상대위치 추정 정확도에서 인공신경망 모델을 통해 S2J 벡터를 시변화하는 M3가 가장 우세한 성능을 보였다. 그리고 인공신경망을 통해 상대위치를 직접 추정하는 M4의 성능이 다음으로 좋았으며 M2는 관절각의 세 축을 변형 관련 변수로 사용한 방법 중 분절 상대위치 추정 정확도가 대부분의 결과에서 가장 떨어졌다. 따라서 세 관절각에 따라 S2J 벡터를 시변화 벡터로 결정하는 인공신경망 모델이 회귀법을 활용하는 방법 그리고 상대위치를 직접적으로 결정하는 인공신경망 모델보다 분절의 STA를 잘 고려하여 분절 상대위치를 잘 추정함을 확인하였다.

실험 동작별 추정 정확도를 비교한다. 제안 방법 M3을 기준으로 각 실험별 골반에서 발까지 추정 RMSE는 각각 16.3, 12.4, 11.1 그리고 11.13 mm이다. 따라서 하프스쿼트 동작에서 추정 성능이 가장 뛰어났으며, 제자리에서 무릎을 들어 올리는 동작에서 추정 성능이 가장 떨어졌다. 하프스쿼트의 경우 상대적으로 동작이 작아 STA로 인한 S2J 벡터의 변형이 심하지 않다. 반면, 무릎을 들어올리는 동작은 발이 고정되어 있는 세 동작들과 달리 발을 움직이기 때문에 동작이 상대적으로 크고, 관절각의 움직임 범위가 크다. 따라서 STA에 따른 S2J 벡터의 변형이 가장 크게 일어나 추정 성능이 떨어졌다. 반면에 풀스쿼트 동작인 Test 4보다 의자에서 앉았다 일어나는 동작인 Test 2 가 관절각의 움직임 범위가 상대적으로 작음에도 불구하고 추정 성능이 더 떨어지는 것으로 나타났다. 이는 의자에 앉아있는 경우 허벅지 분절의 연조직이 의자에 눌려, STA로 인한 S2J 벡터의 변형이 크게 일어나 생기는 현상이다.

Fig. 5는 실험 대상자 2의 Test 2에서, 각 방법별 인접한 분절간 상대위치 추정 결과의 일부를 발췌한 그래프이다. 그림에서 볼 수 있다시피, 각 인접 분절 상대위치의 대부분의 축에서 M3가 참조 궤적에 가장 근접하였으며, M1은 추정 성능이 가장 낮음에 따라 참조 궤적에서도 가장 크게 벗어났다. M2의 경우 세 관절각을 모두 고려함에 따라 M1보다 좋은 성능을 보였지만, 대부분의 축에서 STA를 적절히 보상하지 못하여 참조값을 잘 추종하지 못하였다. Fig. 6은 동일 실험 대상자의 실험에 대하여 분절간 상대위치를 전파시켜 최종적으로 추정하는 골반에서 발까지의 참조 상대위치와 각 방법별 상대위치 추정 오차의 일부를 발췌한 그래프이다. 인접 분절간 상대위치 추정 결과와 마찬가지로 M1의 추정 오차가 가장 큰 것을 확인할 수 있었으며, M3의 추정 오차가 가장 0에 가까운 것을 확인하였다. 또한, M2는 x축 그리고 z축에서 M3에 비해 추정 오차가 크게 증가하였다. 상대위치를 직접적으로 결정하는 M4의 경우 M3와 비슷한 성능을 보여주었다.

Fig. 5 
Estimation results of test 2 from subject 2

Fig. 6 
Pelvis-to-foot reference position and estimation error of test 2 from subject 2

골반에서 발까지의 상대위치를 추정하는 경우 관절각을 통해 상대위치를 직접적으로 구하는 인공신경망 모델 M4의 추정 정확도가 S2J 벡터 시변화를 통해 상대위치를 결정하는 인공신경망 모델 M3보다 상대적으로 낮은 이유는 다음과 같이 추정된다. M4의 경우 모델을 학습시킬 때 각 시간스텝의 참조 관절각과 그때의 참조 상대위치를 통해 학습시킨다. 하지만 상대위치의 경우 하나의 상대위치(Output)를 도출하는 하나 이상의 관절각(Input) 조합이 존재한다. 예를 들어 스쿼트 동작 시 같은 깊이로 앉아 스쿼트를 하더라도(즉, 골반에서 발까지의 상대위치가 같음) 허벅지 각도를 좁게 또는 넓게 유지하느냐에 따라 각 하지 관절의 각도가 달라질 수 있다. 따라서, 하나의 종속변수에 하나 이상의 독립변수가 존재하기 때문에 학습에 어려움을 야기시킨다. 관절각을 통해 S2J 벡터를 학습하는 M3의 경우 각 S2J 벡터에 영향을 크게 미치는 관절이 존재한다. 예를 들어 허벅지에서 무릎까지의 S2J 벡터는 무릎 각도에 큰 영향을 받으며 고관절 각도에는 상대적으로 작은 영향을 받고 발목 관절에는 전혀 영향을 받지 않을 것이다. 이와 같이 학습을 통해 각 S2J 벡터마다 관절각에 대한 가중치가 다르게 설정되기 때문에 관절의 움직임에 따른 S2J 벡터의 변화를 정밀히 고려할 수 있다.