근래에 웨어러블 로보틱스, 재활 치료, 가상현실 인터페이스 등 다양한 분야에서 실시간 모션 센싱 기술 개발의 필요성이 증가하고 있다.^1,2 현재 대부분의 모션 센싱 분야에서는 높은 정확도를 가진 광학식 카메라,² 관성 측정 장치(Inertial Measurement Unit) 기반의 모션 센싱 기술이 주로 사용되고 있다.^3-6 그러나 광학식 카메라 기반 모션 센싱 기술은 고가의 카메라 장비 및 분석 프로그램과 고정된 카메라 시야 내부 공간에서만 관측 가능하다는 제약이 존재하고,² 관성 측정장치 기반의 모션 센싱 기술은 외부 관성계의 영향을 받으며 오래 사용할수록 오차가 커지고 연산 양이 많다는 단점이 존재한다.^3-5

최근에는 유연 신축 센서 기반의 모션 센싱 기술이 천 소재와 부착하기 좋아 착용하기 편리하고, 관절 움직임을 감지하기 적합해 웨어러블 수트로의 적용 가치가 높아 주목을 받고있다.⁷ 이에 다양한 종류의 유연 신축 센서가 웨어러블 수트에 사용되는데 그 중에서도 착용자의 관절 각도를 실시간으로 감지하기 위해 높은 인장률과 간단한 일렉트로닉스로도 구현 가능한 유연 신축 센서를 주로 사용한다.^8,9

한편 유연 신축 센서의 물질적 특성과 사람 근골격의 구조적 특성에 의해 센서의 신호를 통해 관절 각도를 추정하는 방법에 몇 가지 문제가 존재한다. 먼저 유연 센서의 점탄성적 성질에 의해 이력 현상이 나타나며, 비선형성과 낮은 반복성이 나타나고 센서값의 편향 이동이 일어나기도 한다.¹⁰ 동시에 사람 근골격의 구조적 특성에 의해 물리적인 굽힘, 압력 등이 작용해 센서의 추가적인 비선형성을 생성한다.¹¹ 특히 다자유도 관절인 경우 센서 신호들이 상호 의존되어 명확한 동작 감지를 어렵게 만든다.¹²

위와 같은 유연 신축 센서와 관절 각도 관계의 캘리브레이션에 대한 어려움을 해결하고자 심층 신경망(Deep Neural Network)을 이용한 캘리브레이션을 통해 보정하는 연구들이 진행되고 있다. 액체금속 기반의 유연 센서의 점탄성적 성질에 의한 이력 현상과 비선형성을 보정하기 위한 심층 신경망 캘리브레이션 기법,¹³ 천 소재 기반 유연 신축 센서와 심층 신경망 기법을 이용한 1자 유도 무릎 관절 각도 추정 웨어러블 수트,¹⁴ LSTM을 이용해 유연 신축 센서의 시변성을 보정한 전신 웨어러블 수트 개발¹⁵ 등 심층 신경망을 사용함으로 센서 시스템 모델링의 자유화를 통해 관절 각도 추정 방법들이 제시되고 있다.

본 연구에서는 심층 신경망 기반의 캘리브레이션 방법을 통해 다자유도 관절인 손목 관절의 각도를 추정하고, 실시간으로 손목 관절의 모션 센싱이 가능한 유연 신축 센서 기반의 웨어러블 수트를 개발한다. 높은 정확도를 보이는 카메라 기반 모션 센싱을 기준으로 심층 신경망 기반의 캘리브레이션이 기존의 선형 회귀 대응 기법과 비교하여 낮은 오차가 나타남을 정량적으로 비교함을 통해 심층 신경망 기반의 캘리브레이션이 다자유도 관절 각도 추정에 있어서 우수함을 보인다.

손목 웨어러블 수트는 높은 선형성을 가지는 4개의 천 소재 기반의 정전용량식 센서¹⁶를 이용해 4개의 센서 데이터를 통해 관절 각도를 추정한다. 이때 최대한 두 자유도 움직임의 상호의존도를 낮추고 비선형성을 줄이기 위해 센서가 직접 관절에 닿지 않는 와이어 구조를 채택했다.¹⁷ 마지막으로 본 연구에서 개발한 웨어러블 수트를 통해 실시간으로 손목 관절 각도를 추정하는 실사용 데모를 구현했다.

개발한 센서 수트를 이용하여 관절 각도를 모니터링하기 위해서는 센서 신호를 관절 각도로 맵핑하는 캘리브레이션이 요구된다. 센서 신호와 센서 인장 길이 사이에는 비교적 높은 선형성을 나타내나 수트에 적용할 경우 센서 인장과 관절의 기구학적 거동 사이에 관계가 비선형적이다. 또한 그 관계는 착용자마다 다르다. 그러므로 수트를 위한 캘리브레이션은 비선형성에 대한 추정이 가능하며 개인별 맞춤형 맵핑이 용이하여야 한다는 요구 조건이 있어, 본 연구에서는 심층 신경망을 이용하여 캘리브레이션을 진행했다.

3.1 훈련 데이터 생성을 위한 카메라 모션 센싱 실험

심층 신경망의 훈련 데이터를 생성하기 위해 손목의 다자유도 각도 변화와 그에 따른 센서 신호의 변화를 측정하였다. Fig. 5와 같이 모션캡쳐 카메라(Trio: V120, Optitrack, USA)에 6개의 반사표시기(Reflective Marker)가 모두 관측될 수 있는 상태에서 0.2 Hz 주파수를 갖는 동작을 측정했다. 심층 학습 기법은 훈련 데이터가 다양할수록 추정 성능을 높일 수 있기 때문에 관절 각도 정보에 따른 센서 신호 데이터를 충분히 얻을 수 있도록 총 21,407개의 데이터를 측정했다. 센서 신호는 250 Hz로, 카메라 데이터는 120 Hz로 측정해 시간 동기화를 했다.

Fig. 5 
Experimental setup for training data generation

Fig. 6 
Schematic of DNN model structure. Input variable are four sensor’s capacitance data, output variable are joint angles

3.3 측정 성능 평가

관절 각도 추정 성능은 모션 센싱으로 측정한 실제 각도 변화와 모델을 통해 추정된 각도 변화 사이의 근평균제곱오차(Root Mean-Squared Error, RMSE)를 이용하여 정량화했다. 근평균제곱오차는 모델이 예측한 값과 실제로 측정한 값의 차이를 나타내는 척도로써 예측 모델의 정밀도, 즉 각도 추정 성능을 의미한다. 이때 θ를 모션캡쳐 카메라를 이용해 측정한 실제 관절 각도 값이라 하고 θ^를 심층 학습을 통해 예측한 관절 각도값이라 한다면 근평균제곱오차는 식(4)로 나타낼 수 있다.

RMSEθ,θ^=E[θ,θ^2]

(4)

본 연구에서 제시하는 심층 학습 기반 회귀 모델(DNN 모델)과 선형 회귀 모델 사이의 상대적 비교를 통해 우월성을 검증했다. 또한 훈련 데이터와 같은 주파수인 0.2 Hz로 움직이는 거동을 느린 거동으로 지정하였고, 일상에서 손목 움직임의 평균 주파수인 1Hz로 움직이는 거동을 빠른 거동으로 지정하였고,²⁰ 두 거동에 대해 각도 추정 성능을 비교하였다(Figs. 7과 8).

Fig. 7 
Estimated slow wrist motions plot of DNN regression and linear regression. DNN model’s RMSE value (0.26, 0.27) is 88, 90% reduced from linear regression model’s RMSE value (2.44, 2.24)

Fig. 8 
Estimated fast motions plot of DNN regression and linear regression. DNN model’s RMSE value (2.29, 1.90) is 14, 30% reduced from linear regression model’s RMSE value (2.64, 2.68)

실험 결과, 느린 속도의 관절 거동에서는 DNN 모델이 선형 모델에 비해 추정 정확도가 크게 높음을 확인할 수 있었다. 반면, 빠른 거동의 경우 DNN 모델이 선형 모델보다 더 높은 성능을 보이긴 하나 그 차이가 더 적음을 확인할 수 있다(Table 1). 이는 입력 신호의 시변성(Time-Varying Property)을 고려하지 않는 FC층 기반의 DNN 맵핑이 센서 고유의 점탄성으로 인한 이력 현상을 충분히 보상하지 못하기 때문이다.

Table 1 
Estimated results of slow motion and fast motion at wrist (RMSE: Root mean square error in degree)

	Slow motion (RMSE)		Fast motion (RMSE)
	Extension angle	Deviation angle	Extension angle	Deviation angle
Linear	2.44	2.24	2.64	2.68
DNN	0.26	0.27	2.29	1.90

3.4 실사용 데모 구현

본 연구에서 제안하는 DNN 기반의 다자유도 관절 각도 추정 방법론을 실시간 구동으로 구현했다(Fig. 9). 좌측 상단 그래프는 2개의 관절 각도 그래프를 나타내고, 좌측 하단 그래프는 4개의 센서 신호값을 나타낸다. 우측 하단 그래프는 관절 각도로 재구현한 손목의 x, y 좌표를 나타내었다. 구동 인터페이스는 Labview^TM를 기반으로 구축했으며, 4개의 센서 신호 측정, 저역 통과 필터링, 다자유도 각도 측정 및 시각화의 기능을 250 Hz의 속도로 실시간으로 구현한다. Fig. 9는 가장 대표적인 손목 운동인 손목 신전, 손목 굴곡, 요골 편위, 척골 편위에서의 상황에서의 실시간 데모를 캡쳐한 그림이다.

Fig. 9 
Real-time demonstration interface

본 연구에서는 손목의 다자유도 관절 각도를 모니터링하기 위한 신축 센서 기반의 웨어러블 수트를 제작하고 심층 학습(DNN) 기반의 각도 캘리브레이션 기법을 개발했다. 센서를 관절에 직접 부착하는 것이 아닌 신체 링크에 부착함으로써 굽힘이나 눌림 등의 의도하지 않은 센서 변형을 최소화하는 디자인을 고안했다. 유연센서의 거동과 관절 기구학의 특성상 내재된 비선형성이 존재하며, 이는 개인별로 차이를 보이기 때문에 기존의 수치해석적 모델링보다는 데이터 중심(Data-Driven)의 모델링이 요구된다. 본 연구에서 제안하는 DNN 기반의 캘리브레이션은 이러한 특징을 기반으로 개인별 캘리브레이션 기법의 원천기술이 될 수 있으며, 선형 기반 모델보다 성능이 더 뛰어남을 정략적으로 확인할 수 있었다. 현재까지의 한계점으로는 고속 거동에 대한 추정 정확도의 저하가 있다. 추후 연구를 통해 시변성을 고려한 네트워크 구조로 이를 보상할 계획이다. 또한 본 연구에서는 웨어러블 수트의 사용성 발전을 위한 반복적 탈착의 경우나 다른 착용자에 대한 캘리브레이션의 일반화에 대한 후속 연구가 필요하다. 이에 대한 고찰로는 심층 학습의 특성상 데이터 분포의 성질에 민감하기 때문에 전이 학습(Transfer Learning)이 대안이 될 수 있다. 여러 명의 사용자 데이터를 이용하여 사전 학습된(Pre-Trained) 캘리브레이션 모델을 확보한 후에, 착용 시 모델을 Fine-Tuning함으로써 고속으로 고성능의 캘리브레이션 맵을 구현하는 방법론에 대한 연구를 후속 연구로 진행할 계획이다.