본 운동기기는 Fig. 1의 우측 플랫폼을 베이스로 시스템을 구성하고 있다. 이 플랫폼은 모터 3개를 사용하여 3축(Roll, Pitch, Heave) 변동을 가능하게 하였고, 1개의 모터를 하단 패널에 고정시키고 3개의 휠을 이동시키는 방식으로 Yaw축 이동을 구현했다. 플랫폼에 탑승할 대상의 하중은 200 kg로 선정하고 모터 다음 식(1)과 식(2)와 같이 도출하였다.

Fig. 1 
Schematic diagram of exercise system

위 식(1)은 3축 모터의 선정을 Fig. 2의 좌측 그림을 기준으로 선정한 식이고, 식(2)는 Yaw축 모터를 Fig. 2의 우측 그림을 기준으로 선정한 식이다. 식(1)에서는 rpm의 기준이 있어 토크와 각속도의 곱이 와트에 비례하는 식에 따라 160 W의 모터가 필요하게 되었고, 식(2)의 Yaw 모터는 rpm의 기준이 없기 때문에 실험적인 요소를 고려하여 200 W 모터를 사용하게 되었다.

Fig. 2 
Feature of motor selection

가능한 플랫폼을 후술할 알고리즘을 통해 구현하였다. 플랫폼 변동으로 측정할 수 있는 신체 균형의 변동과 그로 인해 일어나는 족저압 분포 사이의 관계를 측정하기 카메라 센서와 매트형 센서를 사용하여 사용자의 현재 자세, 족저압 분포도와 세기를 측정할 수 있다. 측정 결과를 토대로, 4 자유도 모션 플랫폼과 가상현실을 이용하여 적합한 운동을 제시한다. 이를 위한 운동기기 전체 시스템 구성도는 Fig. 1과 같다. 시스템 응용 소프트웨어가 출력되는 모니터가 있고, 그 위에 자세 검출을 위한 카메라 센서가 배치된다. 또한 가상현실 구성을 위한 Oculus 센서가 배치된다. 운동자는 플랫폼 위에 탑승한다. 본 연구에서 플랫폼은 4 자유도로 구성되어 Roll, Pitch, Yaw (RPY)와 Heave 동작이 가능하도록 제작되었다. 플랫폼 상단에는 족저압 측정을 위한 매트형 센서가 부착된다. 플랫폼의 사양은 Table 1과 같다.

본 운동기기 시스템을 구동하는 시스템 응용 소프트웨어는 Fig. 3과 같다. Microsoft Visual Studio C# Window Forms (WF)로 작성하였다. Fig. 3(A)는 주변기기 활성화와 운동 시작 단추가 배치된다. Fig. 3(B)는 매트형 센서와 균형 운동의 단추가 배치된다. Fig. 3(C)에서는 실시간 족저압 데이터가 출력된다. Fig. 3(D)에는 카메라 센서를 통해 얻은 화면과 자세 정보가 실시간으로 출력된다.

Fig. 3 
Section of exercise software

Fig. 3(E)에는 가상 코치, 또는 가상현실 게임이 출력되어 운동자가 가상 코치 화면을 보고 운동을 따라하거나 가상현실 화면을 모니터링할 수 있다. Fig. 3(F)는 스크린샷을 촬영할 수 있는 버튼으로, 촬영 후 Fig. 3(A)의 데이터 버튼으로 운동 전 후를 비교할 수 있다. 다음으로 각 부분별 상세한 내용을 기술한다.

족저압 분포도와 세기 측정을 위한 매트형 센서와 제어기로는 Kitronyx사의 MS9705와 MC1509를 사용하였다. 8 × 8 mm의 감지 노드를 2,304개 측정할 수 있고, 감지 범위는 384 × 384 mm이다. 센서는 921,600의 Baud Rate로 50 ms 주기마다 2,304개의 Raw Data를 송신한다. 센서 데이터의 처리는 Fig. 4와 같이 구현했다.

Fig. 4 
Data conversion process of sensor data

소프트웨어는 데이터 수신 후 48 × 48 Array에 삽입한다. 이후 데이터는 Bicubic 보간법을 사용하여 원본 데이터 4개에서 3개씩 144 × 144 Array로 확장한다. Bicubic 보간법은 행 방향으로 Cubic 보간법을 진행하고, 열 방향으로 이를 확장하는 방법으로 구현하였다. 식(3)과 같이 16개의 원본을 통해 x축 방향으로 4개의 데이터를 보간한 후, 생성된 데이터를 이용해 y축 방향으로 Cubic 보간법을 진행한다.¹³ 보간을 완료한 Pixel 값을 I(x, y)라 할 때, 다음 식(3)과 같다. 세로축에서

로 계산하고, 여기서, p₀, p₁, p₂, p₃은 식(4)부터 식(7)과 같다.

보간 후의 데이터들을 Jet Colormap으로 변환하여 Fig. 3(c)와 같이 표현한다. 이 보간법으로 일반적인 Bilinear 보간법 Intensity가 8.718에서 10.040으로 더 증가하여 압력을 많이 받는 부분을 더 선명히 시현할 수 있게 되었다.

사람의 자세와 관절 지점의 검출을 위해 카메라 센서는 Microsoft사의 Kinect를 사용하였다. Kinect는 RGB (Red, Green, Blue) 카메라와 Depth 카메라를 동시에 사용하는 센서로, 이 2개의 센서와 Microsoft사의 알고리즘을 사용하여 사용자의 모습과 관절의 좌표를 출력할 수 있다. 센서는 640 × 480 크기의 화면에 30 FPS (Frame per Second)로 소프트웨어에 전송하며, Kinect 화면을 표시할 준비가 되었을 때 지속적으로 수신한다.

수신한 센서 데이터는 Fig. 5의 좌측과 같이 수평계 0^o를 기준으로 가운데 플로우 차트를 사용하여 정보를 구현하였다. 소프트웨어는 Kinect에서 RGB 데이터와 Depth 데이터를 수신한 후 Kinect의 dll 파일을 사용하여 관절의 위치를 Array 형식으로 수신한다. 수신한 Array 관절 데이터를 수집하고, 데이터의 순서에 따라 머리와 목을 잇는 선을 그리는 등 화면에 그림을 그리는 것으로 사람의 형상에 Skeleton을 삽입하여 인체의 각도를 시각화한다.

Fig. 5 
Data conversion process of kinect sensor

이 데이터를 기반으로 사람의 자세를 측정할 수 있다. Fig. 5의 우측에서 양 어깨의 관절을 분홍색 실선으로 이어놓았는데, 이 실선을 사용하여 사람의 어깨가 틀어진 각도를 나타내고, 우측 상단의 각도 데이터로써 모니터링할 수 있다. 또한 Fig. 3(F)의 버튼으로 Before와 After 화면을 촬영한 후, Fig. 3(A)의 데이터 버튼을 클릭 시 Fig. 6과 같이 Before 상태와 After 상태를 출력하여 운동 전후의 차이를 인지할 수 있게 하였다. Fig. 6에서는 상단에는 위에서 언급한 사용자의 어깨 각도를, 하단에는 족압의 분포도와 무게 중심을 표시했다.

Fig. 6 
Kinect and foot pressure data variation

트레이너나 의사 및 보조자 없이 홀로 재활 치료 또는 운동을 할 수 있게 하기 위하여 본 연구의 운동기기에서는 Unity 소프트웨어를 기반으로 한 가상현실 환경을 사용한다. 이 환경은 가상 코치와 가상현실 게임 두 가지로 나누어 구성했다. 그러나 단일 프로그램으로서의 편의성, 가상 코치의 움직임 애니메이션이나 가상현실 게임상에서 사용자를 모니터링할 수 있게 하기 위하여 WF 화면과 Unity 기반의 가상현실 환경 소프트웨어를 단일 개체로 실행시킬 필요가 있다. 이를 위해 Fig. 7처럼 C# WF에서 Unity 기반의 가상현실 환경을 삽입하였고, Windows의 ‘User32.dll’ 파일을 사용하여 Unity를 C# 패널 내에서 실행할 수 있게 하는 라이브러리를 제작하고, WF 내부에 Unity 프로그램을 삽입할 수 있게 하였다.

Fig. 7 
Inner map for playing 2 processes in one program

따라서 Fig. 3(E)와 같이 통합 프로그램 내부에 가상현실 환경을 삽입할 수 있고, 각각 다른 프로그램인 가상현실 환경과 통합 프로그램의 통신은 WF나 Unity와 같이 C# 언어 기반을 가진 프로그램만 사용이 가능한 프로그램 내부 통신 프로토콜인 ‘NamedPipe’ 통신을 사용하여 프로그램간 필요한 데이터를 송수신하였다.

2.5.1 가상 코치

트레이너나 가상 코치는 운동 시 실제 코치가 지도하는 것을 대신하는 목적으로 하는 프로그램이다. 사용자는 운동을 시작할 때 움직이는 코치의 동작을 따라하면 되므로 코치가 세심히 사용자를 지켜보지 않더라도 스스로 바른 자세와 횟수를 지켜가며 운동을 할 수 있게 된다. Kinect와 매트형 센서를 통해 관절의 위치와 족저압 데이터를 수신하고, 수신하는 프로그램에서 소프트웨어 내부 알고리즘에 따라 지속적으로 현재 자세를 인식한다. 프로그램의 진행 방식을 정리하면 다음과 같다.

(1) 가상 코치 모드 버튼을 눌러 장치가 초기화된 후 상체나 체조 운동 버튼을 누르면 버튼에 따라 Fig. 8의 좌, 우측 운동이 시작된다.

Fig. 8 
Exercise map of virtual coach

(2) Fig. 8의 코치가 운동 모드에 따라 사용자가 취할 올바른 자세를 취한다.

(3) 사용자가 코치의 동작을 따라하면 Kinect 센서의 데이터를 기반으로 한 알고리즘을 사용하여 사용자의 동작을 인식하고, 코치는 다음 운동을 한다.

(4) 사용자가 운동을 택할 시 앞의 로직을 따라 Fig. 8의 푸른색 화살표 동작을 정해진 숫자만큼 반복해야 한다. 체조 운동은 3개의 운동을 위에서부터 연속으로 행한다.

(5) 일련의 동작을 반복하여 횟수를 채우면 운동이 종료되며 처음 Standing 자세로 돌아온다.

이 프로그램에서는 C# WF에서 Kinect 데이터를 사용하여 운동 동작마다 동작을 인식하는 별개의 알고리즘을 선택하여 해석한 후, 조건에 따라 Unity 코치 소프트웨어에 데이터를 송신하여 프로그램에서 애니메이션을 재생시키는 것을 반복하게 개발되었다. Fig. 9는 코치가 취하는 애니메이션과 사람이 취해야 하는 행동을 모은 것이다.

Fig. 9 
Exercise map of virtual coach and user’s postures

사람의 특정 동작을 인식하는 알고리즘을 실행하기 위해서는 먼저 Kinect 센서로 받은 데이터를 사용하여 몸통 라인의 특정 각도와 특정 관절의 현재 각도를 인식하는 것이 필요하다. 각 동작 인식 알고리즘을 구현하기 위해 필요한 몸통 라인의 각도는 θ_e이고 관절의 각도는 Δθ_b1, Δθ_c1, Δθ_b2, Δθ_c1로 총 5개다. 이 값들은 인접한 2개 관절의 위치 데이터로부터 산출한다. 예를 들어 Fig. 10에서 관절의 위치를 a₁, b₁, c₁라 하고 화면 밑면을 기준으로 한 선 a₁b₁와 선 b₁c₁의 각도를 θ_a1b1, θ_b1c1이라 칭할 때 식(8)과 식(9)에서 각각의 각도를 계산하며, 또한 e₁, e₂에 연결된 θ_e도 다음 식(10)으로 설명된다.

θa1b1=tan-1⁡a1y-b1ya1x-b1x

(8)

θb1c1=tan-1⁡b1y-c1yb1x-c1x

(9)

θe=tan-1⁡e2y-e1ye2x-e1x

(10)

Fig. 10 
The skeleton points and joint angles

목표 관절의 각도 Δθ_b1의 수식은 식(11)과 같다.

Δθb1=θa1b1-θb1c1

(11)

Fig. 10에서 해당되는 각도를 계산한 집합을 Θ = {Δθ_b1, Δθ_c1, Δθ_b2, Δθ_c2, Δθ_e}이라 할 때, 표시 지점의 흰색 부분의 각도가 집합의 실제 각도를 의미한다. 또한 위 각도 계산식에 이어 Fig. 10에서 d의 높이 d_y와 운동 회수 C도 알고리즘에 사용한다. 사용자의 행동을 감지하는 알고리즘은 다음과 같다.

알고리즘1 Pull down and up

입력: Θ, C 출력: 운동 동작의 판단 Up 실행 C > 0일 때 반복  Δθc > 15o&Δθb > -110o일 때   C = C-1   Pull down 카운트   또는 Δθc < 5o&Δθb < -110o일 때   Up 카운트 반복 종료 Standing 실행

알고리즘 2 Sit down

입력: C, dy 출력: 운동 동작의 판단 C > 0일 때 반복  시작 dy 수집  dy > 250일 때  C = C-1  Sit down 카운트  dy < 시작 dy+30일 때  Standing 카운트 반복 종료

알고리즘 3 Yoga

입력: Θ, C 출력: 운동 동작의 판단 C > 0일 때 반복  |Δθc| < 20o&|Δθb| < 20o&θe > 105o일 때   C = C-1   Yoga 카운트  또는 Δθc > 30o and |Δθe-90o| <10o일 때  Standing 카운트 반복 종료

알고리즘 4 Deep breath

입력: Θ, C 출력: 운동 동작의 판단 C > 0일 때 반복  Δθc < -30o일 때   C = C-1  Deep breath 카운트   또는 Δθc < 30o일 때  Standing 카운트 반복 종료

위 알고리즘을 사용하면 Kinect를 통해 입력되는 관절의 위치를 사용하여 사용자가 수행한 각 동작별 운동 횟수를 얻을 수 있다.

2.5.2 가상현실 게임

가상현실 게임은 신체 균형 유지 능력의 배양을 위하고 또한 장시간 사용 시 사용자의 지루함을 극복하기 위하여 개발하였다. 소프트웨어의 실행은 스키 운동, 운석 피하기, 보트 항해 등 세 종류를 VR 장비를 착용하고 소프트웨어와 연동된 플랫폼에 탑승 후 Fig. 3(a)에서 선택하면 실행할 수 있다.

일반적인 VR 게임에는 사용자의 플랫폼을 고려하지 않는 반면 본 시스템에서는 Fig. 11처럼 소프트웨어에서 사용자가 탑승할 가상 플랫폼을 제공하고, VR 카메라 객체와 사용자의 위치를 플랫폼과 같이 움직이도록 했다. 이와 동시에 물리적인 충돌을 통해 각 게임마다 그에 맞는 운동을 구현하였다. 사용자의 플랫폼은 Fig. 12의 좌측 상단으로부터 스키, 우주선, 배가 있다.

Fig. 11 
System structure interconnecting VR motions and platform motions

Fig. 12 
Skiing, space travel, voyage VR modes interlocking platform

이어 Fig. 11에서 Unity 프로그램을 실행하는 소프트웨어는 Unity 가상현실 게임으로부터 100 ms 주기로 가상환경에서의 사용자의 플랫폼 데이터를 수신한다. 이 가상 플랫폼의 데이터와 실제 플랫폼을 연동하기 위해 수신한 Roll, Pitch 데이터를 Fig. 13에 보여주는 플랫폼의 역기구학에 적용시킨다.

Fig. 13 
Simplified modeling of motion platform, and coordinates and vectors for kinematics

먼저 기준 좌표계와 이동 좌표계에서 바라본 모터와 조인트 모두 같은 각도로 위치하고 있어서 식(12)와 같이 정의하였다.

φi=ψi=2π3i-1+π3, i=1,2,3

(12)

Fig. 14에서 기준 좌표계와 이동 좌표계로부터 식(13)과 식(14)와 같이 각각 모터와 조인트로부터 벡터를 표시할 수 있다. 기준 좌표계(B₀)에서 바라본 q_i는 식(14)와 같이 표현할 수 있다.

Pi=rpcos⁡ψirpsin⁡ψi0,i=1,2,3

(13)

Mi=rbcos⁡ϕirbsin⁡ϕi0,i=1,2,3

(14)

qi=h+RP0B0Pi=Mi+Ui, i=1,2,3

(15)

Fig. 14 
Arrangement of motors and joints of base and upper plates (Top view)

상판이 Roll, Pitch 방향으로 각각 α, β만큼 회전하였다면 U₁, U₂, U₃는 식(16)과 같이 나타낼 수 있다.¹⁴

Ui=rpcos⁡ψicos⁡β-rpcos⁡ψicos⁡αrpsin⁡φicos⁡α+rpcos⁡φisin⁡αsin⁡β-rbsin⁡φih-rpcos⁡ψisin⁡α-rpcos⁡ψicos⁡αsin⁡β, i=1,2,3

(16)

플랫폼의 U_I(i = 1, 2, 3)는 모터 좌표계(B_i)에서 상판 링크 연결 부까지의 벡터를 의미하고, 이를 부분 좌표계(M_i)로 가져가고 이를 T_i로 표시한다면 식(17)이 된다.

Ti=RBiMiUi

(17)

Fig. 15에서 θ_i는 실제로 모터의 축이 회전하는 각 각도이며 γ_i는 T_i와 R_i의 사이각이다. 먼저 γ_i를 식(18)과 식(19)로 제2코사인 법칙을 사용하여 구하고(L_i는 강체의 벡터표현) 식(20)으로 θ_i를 구할 수 있다.

Li2=Ti2+Ri2-2TiRicosγi, i=1,2,3

(18)

γi=cos-1⁡Ti,x2+Ti,y2+Ri2-Li22TiRi, i=1,2,3

(19)

θi=cos-1⁡Ti,xTi-γi, i=1,2,3

(20)

Fig. 15 
Sub-Frame coordinates of driving motor¹⁴ (Adapted from Ref. 14 on the basis of OA)

이를 사용하여 Roll, Pitch와 고정된 Heave의 각도로 U_I(i = 1, 2, 3)를 구한 후 연산하여 각 모터 각도 θ_I(i = 1, 2, 3)를 산출했다. 남은 Yaw 각도는 가운데 플랫폼의 모터 각도를 그대로 사용했다. 이 각도들을 Unity에서 수신한 값으로 갱신하며 지속적으로 가상 플랫폼과 실제 플랫폼을 갱신할 수 있다.

데이터와 플랫폼의 연동 후 사용자의 자세 안정성을 파악하기 위해 족저압 데이터를 이용한 질량 중심, 즉 Center of Mass (COM)을 사용한다.¹⁵ 이 식을 이용하여 각 축의 Pixel당 부과된 압력의 분포도를 사용하여 평균 위치를 구한다. 그러나 압력의 중심으로는 사용자의 자세에 따라 상하 좌우로 Offset이 발생할 수 있으므로 이를 보정하기 위해 Center of Pixel (COP)를 추가로 사용한다. COP는 사용자의 현재 위치의 중심이 어디인지 알기 위해 사용하는 알고리즘이다. COP는 COM과 유사하나 식(21)의 p_i와 같은 경우는 0에서 255 사이의 압력 값을 의미하지만 식(22)의 b_i의 경우는 식(23)의 조건문을 사용하여 0과 1의 이진화 값을 가진다. 식(21)과 식(22)는 각각 x축에 COM과 COP를 적용한 식이다.

측정된 값 COMx와 COPx에서 식(24)과 같이 차이값을 계산하는 Revised Center of Mass (RCOM)로 정의하면, 양의 값은 우측 편심, 음의 값은 좌측 편심을 의미한다. Fig. 16에서 그 값은 -8.428이 되어 왼쪽으로 편심되었음을 알게 된다. 따라서 사용자의 측정 위치가 변해도 편심량의 측정이 가능하게 된다. 족저압을 활용하는 게임 모드 중 Fig. 3(b)의 균형 운동 동작이 이 수치를 사용하게 된다. 사용자가 서 있을 때 자세의 불안정성으로 인해 균형의 편심이 생기고, 플랫폼을 해당 방향으로 기울이는 것으로 사용자는 반대쪽 다리에 힘을 주며 전신 운동을 하게 된다. 이러한 운동의 반복으로 사용자는 자세 유지를 하기 위해 코어 근육을 포함한 전신 운동을 하기 때문에 사용자의 편심 정도를 감소시키는 것은 재활 운동에 유효하다.¹⁶

Fig. 16 
One of the line of COPx and COMx

가상 코치 시스템의 신뢰성을 검증하기 위해 실행 중 인식을 하지 못하거나, 중복 인식하는 등의 오차 여부를 검증할 필요가 있다. Table 2는 기구를 처음 탑승하는 8명이 상체 운동과 체조 운동을 10번씩 반복하여 오차율을 측정한 표이다. 일부 동작 오차율 측정에서 횟수가 1 또는 2회 감소한 것을 볼 수 있는데, 이는 Kinect 센서가 사용자의 몸이 가려진 부분을 인식할 때 관절의 각도가 흔들려 일어나는 오류이고, 이로 인해 연속으로 Count된 경우가 있어 실험 횟수가 줄어들게 되었다. 이 실험에서 오차율은 최대 1.28%로 동작 인식 알고리즘의 높은 신뢰도를 보여준다.

가상현실 게임에서 지정된 명령과 플랫폼의 실제 연동 사이의 관계를 검증하기 위해 게임을 실행하면서 Unity에서 플랫폼에 지정된 명령과 실제 플랫폼 각도를 측정하였다. 이를 위해 가상 현실 게임 중 스키 모드에서 모션플랫폼의 반응 주파수를 고려하여 명령 각도를 100 ms 주기에 맞추어 보내면서 76초 동안 측정하였다. 실제 측정은 MPU-9250과 Arduino Pro Micro로 플랫폼의 Roll과 Pitch 각도를 측정하였다. 컴퓨터의 명령과 실제 측정한 플랫폼의 각도 데이터는 Fig. 17의 그래프에 표시했다. 이 그래프에서 프로그램이 명령을 실행한 후 플랫폼이 동작하여 특정 위치에 도달하기까지 약 150 ms가 지연되는 것을 알 수 있다. 이 지연은 여러 사용자가 직접 가상환경에서 사용해 본 결과 동작의 차이를 느끼지 못하기에 시간 지연은 큰 문제가 되지 않았다.

Fig. 17 
Plot of roll, pitch data between VR command and platform moving data of motion platform while virtual ski

다음으로 가상 프로그램을 구동하며 매트형 센서 데이터를 통해 RCOMx를 통하여 플랫폼의 변화에 의해 사용자가 어떤 반응을 하는지를 판단했다. 데이터는 30 FPS 단위로 측정하여 도출하였고, 이를 실제 IMU로 측정한 플랫폼의 Roll 데이터와 비교하였다. Fig. 18의 데이터로부터 사람이 플랫폼의 기울기에 따라 발 한쪽으로 힘을 주면서 밸런스를 맞추어감을 알 수 있다. 즉 VR 영상에 의하여 몸이 옆으로 기울어질 때 기울어지는 속도나 기울기가 클수록 기울어지는 방향으로 발에 힘을 더 주게 되는 것을 알 수 있다.

Fig. 18 
RCOMx from Exercise of Balance and roll data of platform from VR ski mode