JKSPE
[ REGULAR ]
Journal of the Korean Society for Precision Engineering - Vol. 35, No. 10, pp.965-972
ISSN: 1225-9071 (Print) 2287-8769 (Online)
Print publication date 01 Oct 2018
Received 19 Mar 2018 Revised 28 Jun 2018 Accepted 02 Jul 2018
DOI: https://doi.org/10.7736/KSPE.2018.35.10.965

하지부 기구학 모델과 보행주기분석을 이용하는 관성측정센서 기반 보행위치 측정 방법

송기욱1 ; 송영은2 ; 정회룡1, #
1건국대학교 기계공학부
2호서대학교 전기공학과
IMU based Walking Position Tracking using Kinematic Model of Lower Body and Walking Cycle Analysis
Kee Wook Song1 ; Young Eun Song2 ; Hoeryong Jung1, #
1Department of Mechanical Engineering, Konkook University
2Department of Electrical Engineering, Hoseo University

Correspondence to: #E-mail: junghl80@konkuk.ac.kr, TEL: +82-2-450-3903

Copyright © The Korean Society for Precision Engineering
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

This paper proposes a walking position tracking method using inertial measurement unit (IMU) based on kinematic model of human body and walking cycle analysis. A kinematic model of lower body consisting of 9 coordinate frames and 7 links is used to estimate walking trajectory of the body based on rotation angles of the lower body measured by IMU. In this method, the position of left or right end frame of the lower body which is in contact with the ground is first identified and set as the reference position. The position of the base frame attached on the center of pelvis is then computed using the kinematic model and the reference position. One can switch the reference position with the position of the other end frame at the moment of heel strike. The proposed position tracking method was experimentally validated. Experimental result showed that position tracking errors were within 1.4% of walking distance for straight walking and 2.2% for circular walking.

Keywords:

Motion capture, Position tracking, Walking cycle analysis, IMU sensor, Kinematic model

키워드:

모션캡쳐, 위치추적, 보행주기분석, 관성측정센서, 기구학 모델

1. 서론

Motion Capture는 3D 공간상에서 대상체의 위치와 자세를 측정하고 컴퓨터가 사용할 수 있는 형태의 정보로 기록하여 분석 및 응용하는 기술을 말한다.1 Motion Capture 기술은 주로 캐릭터 애니메이션이나 영화제작 등과 같은 영상 콘텐츠 제작분야에서 활용되어 왔으며,2-7 최근 영상기술과 센서기술이 발전함에 따라 증강현실,8 스포츠 과학,9-12 재활의학,13-15 동작패턴분석16,17 등으로 활용범위가 확대되고 있다.

Motion Capture에서 가장 일반적으로 사용되는 방법은 대상체에 마커를 부착하고 여러 대의 카메라를 이용하여 마커의 3차원 위치를 추적하는 광학식 방법이다. 정확도가 높고 고속으로 대상체의 위치와 자세를 추적할 수 있다는 장점이 있지만, 광학 시스템을 구축하는데 많은 비용과 공간이 필요하고 마커가 장애물에 의해 가려지는 경우 움직임 추적이 중단된다는 단점이 있다. 최근 Microelectromechanical System (MEMS) 기술의 발전으로 초소형 관성측정센서(Inertial Measurement Unit, IMU)가 개발되면서 이를 이용한 착용형 Motion Capture 장치들이 많이 활용되고 있다. 이러한 관성측정센서 기반의 Motion Capture 방식은 복잡한 시스템과 공간이 필요하지 않고 관성측정센서를 대상체의 주요 관절에 부착하여 위치와 자세를 측정할 수 있다는 장점이 있다. 하지만 누적되는 적분오차로 인해 위치측정 오차가 발산하는 문제가 있어 대상체의 위치보다는 자세를 측정하는 목적으로 활용되고 있다.

관성측정센서 기반 Motion Capture 방식은 위치측정에서 발생하는 오차문제로 그 응용분야가 제한을 받고 있다. 재활치료에서 환자의 보행동작을 분석하는 분야 혹은 스포츠 훈련에서 훈련자의 움직임을 분석하는 분야 등에서는 환자 혹은 훈련자의 자세뿐 아니라 위치와 속도정보를 정확히 측정할 수 있어야 하는데 관성측정센서의 위치측정오차로 적용에 한계가 있다.

관성측정센서의 위치측정오차 문제를 해결하기 위해 기존연구에서 여러 방법들이 제안되었다. 대표적인 방법으로 대상체의 속도가 0인 순간을 추정하여 속도를 0으로 초기화하는 Zero Velocity Update (ZUPT) 방법이 제안되었다.18 이 방법은 주기적으로 속도값을 초기화 함으로써 적분오차가 지속적으로 증가하는 것을 방지할 수 있지만, 대상체가 빠르게 움직이거나 충격이 발생하는 경우 위치추정오차가 증가한다는 문제가 있다.18 정확한 위치측정을 위하여 Ultra-Wideband (UWB) Radar 센서를 가속도 센서와 융합하는 방법이 제안되었다.19,20 위치측정 정밀도가 높고 환경조건에 의한 영향이 적다는 장점이 있지만 금속물질에서 측정오차가 증가할 수 있고 UWB 센서와 대상체 사이에 장애물이 있을 경우 간섭에 의해 측정 정밀도가 저하된다는 단점이 있다.

최근 들어 인체의 생체역학적 구속조건을 관성측정센서와 함께 사용하여 보행자의 움직임을 측정하는 방법이 제안되었다. 관성측정센서를 인체의 하지관절에 부착하여 관절각도를 측정하고, 하지부의 기구학 모델을 이용하여 보행자의 움직임을 측정하는 방법이 제안되었다.21 이 방법에서는 지면과 발 사이의 접촉을 감지하기 위하여 별도의 Force Sensing Resistor를 사용하는데 추가센서로 인해 전체 시스템이 복잡해지고 관성측정센서를 이용한 하지부의 기구학 해석에 오차가 발생한다는 문제점이 있다. 이러한 문제를 해결하기 위해 하지부 기구학의 수학적 오차보정에 대한 연구와23 관성측정센서와 하지부 기구학 모델만을 이용하여 보행자의 속도를 실시간으로 추정하는 연구가 수행되고 있다.22

본 논문에서는 관성측정센서를 이용하여 보행자의 보행위치를 추정하는 방법을 제안한다. 보행자의 하지 기구학 모델과 관성측정센서에서 측정된 하지의 관절각도를 이용하여 보행자 위치를 추정하는 방법을 제안한다. 보행주기분석을 통해 하지 관절각도로부터 보행 시 지면과 발이 닿는 순간(Heel Strike)을 추출하는 알고리즘을 제안하여 추가센서 없이 관성측정센서만을 이용하여 위치를 측정할 수 있도록 한다. 기존의 방법에서는 관성측정센서의 위치추정 오차로 인해 주로 보행 속도를 측정하는 방법이 제안되었고, 위치측정 방법에서는 Heel Strike 순간을 감지하기 위해 별도의 센서 시스템을 사용하는 연구들이 있었다. 본 논문에서는 추가의 센서 시스템 없이 보행 주기분석을 통해 Heel Strike 순간을 감지하고 이 정보를 인체 기구학과 함께 이용하여 보행위치를 정확히 추정하는 방법을 제안한다. 직선 보행경로와 원형보행경로에서 위치측정 실험을 하여 제안하는 방법의 위치측정정확도를 검증하였다. 제안하는 방법은 보행재활치료에서 환자의 보행특성을 분석하거나 스포츠 훈련에서 훈련자의 동작을 분석하는 응용분야에 활용될 수 있다.


2. 보행위치 측정 방법

2.1 하지부 기구학 모델

본 논문에서는 하지부 기구학 모델을 이용하여 보행자의 위치를 측정하는 방법을 제안한다. 하지부의 정기구학 모델을 정의하기 위한 관절 좌표계는 Fig. 1과 같이 정의된다. 3차원 공간상에 고정된 고정 좌표계(G)와 인체에 고정되어 함께 움직이는 인체의 Base 좌표계(B)를 골반 중심부에 설정하였다. 좌우측 엉덩관절, 무릎관절, 발목관절에 각각 좌표계를 설정하였고 마지막 좌표계를 각각 HL, HR로 지정하였다. 총 5개의 관성측정센서가 골반 중심점 및 좌우측 하지에 부착되어 각 관절의 각도를 측정한다. 본 논문에서 제안하는 위치 측정 방법은 하지부의 기구학 모델을 이용하여 고정 좌표계 G에 대한 인체의 Base 좌표계 B의 원점 및 좌우측 하지의 말단 좌표계 HL 및 HR의 위치를 실시간으로 계산하는 것을 목적으로 한다.

Fig. 1

Coordinate frame assigned to joints of lower body

보행자의 보행방향을 표현하기 위해 좌표계 B는 z0 축으로 회전이 가능하다고 가정하였다. x0, y0 축 방향의 회전이 보행위치에 미치는 영향이 무시할 수 있을 만큼 작다고 가정하면 고정 좌표계 G에서 좌표계 B로 가는 변환행렬 TBG는 아래와 같이 정의된다.

TBG=cosθ0-sinθ00Pxsinθ0cosθ00Py001Pz0001=RBGOBG01(1) 

여기서 θ0z0 축 중심 회전 각도를 나타낸다. RBG, OBG는 각각 G좌표에서 표현한 좌표계(B)의 자세와 원점의 위치를 나타낸다. B 좌표계에서 좌우측 하지의 말단 좌표계 HL과 HR으로의 변환행렬 THLB, THRB은 각각 다음과 같이 표현된다.

THLB=RHLBθ1,L,θ2,L,θ3,LOHLBθ1,L,θ2,L,θ3,L,a0,a1,a201(2) 
THRB=RHLBθ1,R,θ2,R,θ3,ROHRBθ1,R,θ2,R,θ3,R,a0,a1,a201(3) 

여기서 θ1,L, θ2,L, θ3,L, θ1,R, θ2,R, θ3,R은 각각 좌우측 엉덩관절의 Yaw, Pitch 각도, 무릎관절의 Pitch 각도이고 a0, a1, a2는 각각 좌우측 엉덩관절 사이의 거리, 엉덩관절과 무릎관절 사이의 거리, 무릎관절과 발목관절 사이의 거리를 나타낸다. 변환행렬 TBG,THLB,THRB을 이용하여 좌표계 HL, HR의 원점의 좌표를 다음과 같이 표현할 수 있다.

OHLG=OBG+RBGOHLB(4) 
OHRG=OBG+RBGOHRB(5) 

식(4)식(5)에서 RBG,OHLB,OHRB은 관절측정센서에서 측정되는 θ0, θ1,L, θ2,L, θ3,L, θ1,R, θ2,R, θ3,R 값을 식(1)에서 식(3)에 대입하여 계산할 수 있다. 위의 식(4)식(5)에서 OBG,OHLG,OHRG만 미지수로 남게 되는데 OHLG 혹은 OHRG의 좌표를 보행주기분석을 통해 추정하고, 그 추정 값을 이용하여 나머지 두 점의 좌표를 계산한다.

2.2 보행위치 추정 알고리즘

본 논문에서 제안하는 보행위치 추정 알고리즘은 OHLG,OHRG 중의 한 점을 기준으로 하여 나머지 두 점의 좌표를 계산한다. 보행 중에 OHLGOHRG 중의 한점은 반드시 지면에 고정되어 있다고 할 수 있다. 보행 중에 지면과 발이 고정된 점의 위치 OHLG 혹은 OHRG을 알 수 있으면 그 점의 좌표와 기구학 모델로부터 나머지 두 점의 좌표를 계산할 수 있다. 이를 위해 먼저 보행자의 보행주기에 기반하여 보행상태를 Fig. 2와 같이 State 1과 State 2로 구분하였다. State 1은 왼발 뒤꿈치가 지면에 닿는 순간인 Left Heel Strike (LHS)부터 오른발 뒤꿈치가 지면에 닿는 순간인 Right Heel Strike (RHS)까지로 정의되고 State 2는 RHS부터 LHS까지로 정의된다. 각 보행상태에서 OBG,OHLG,OHRG은 다음과 같이 계산한다.

Fig. 2

Classification of walking state

State 1: LHS에서 RHS까지 OHLG은 지면에 고정되어 있다. LHS에서 OHLG의 좌표 값 OHLG(LHS)을 계산하고 이 값을 이용하여 State 1에서 OBG를 다음과 같이 계산한다.

OBG=OHLG(LHS)-RBGOHLB(6) 

식(6)에서 계산된 OBG 값을 식(5)에 대입하여 OHRG을 계산한다.

State 2: State 1에서 RHS가 발생하면 보행상태는 State 2로 전환된다. State 1에서 OHRG을 계산하는데 RHS에서 OHRG의 좌표값을 OHRG(RHS)로 저장하고 이 값을 이용하여 State 2에서 OBG를 다음과 같이 계산한다.

OBG=OHRG(RHS)-RBGOHRB(7) 

식(7)에서 계산된 OBG 값을 식(4)에 대입하여 OHLG 을 계산한다.

Fig. 3은 하지부 정기구학 모델을 이용한 보행위치 추정 알고리즘의 전체 흐름도를 보여준다. 초기화 단계에서 보행자는 두 발을 모으고 정지해 있다. 이때 고정 좌표계(G)에서 좌우측 발뒤꿈치의 초기 좌표 값 OHRB(0), OHLB(0)을 정의하고 이 값으로 최초의 OHRB(RHS)OHLB(LHS)를 설정한다. 보행자가 보행을 시작하면 최초로 내딛는 다리에 따라 오른발이면 보행상태를 State 1으로 왼발이면 State 2로 설정하고 보행위치를 계산한다. 초기의 OHRB(RHS)OHLB(LHS)의 좌표 값을 정의하였기 때문에 이 값을 기준으로 이후 보행에서 OBG,OHLG,OHRG을 계산할 수 있다. 보행위치 계산을 위해 먼저 관성측정센서로부터 각 관절링크의 회전각도를 입력 받아서 θ0,θ1,L,θ2,L,θ3,L,θ1,R,θ2,R,θ3,R 값을 아래와 같이 계산한다.

θ0: S0의 Yaw 각도
θ1,L, θ1,R: S1L 및 S1R의 Yaw 각도
θ2,L, θ2,R: S1L 및 S1R의 Pitch 각도
θ3,L, θ3,R: S2L 및 S2R의 Pitch 각도 - S1L 및 S1R의 Pitch 각도
Fig. 3

Flow chart of the walking position measurement algorithm

각 관절의 각도를 식(2)식(3)에 대입하여 RBG, OHLB, OHRB을 계산한다. State 1일 경우 이 값과 OHLG(LHS)을 식 (5)와 식(6)에 대입하여 OBG,OHRG을 계산하고 State 2일 경우 OHRG(RHS)식(4)식(7)에 대입하여 OBG,OHLG을 계산한다. 각 관절의 각도 값을 보행주기분석 알고리즘에 입력하여 현재 상태가 LHS 혹은 RHS 인지 검사한다. State 1일경우 RHS 이면 현재 OHRG의 좌표값을 OHRG(RHS)에 대입하고 보행상태를 State 2로 전환한다. State 2일 경우 LHS이면 현재 OHLG의 좌표 값을 OHLG(LHS)에 대입하고 보행상태를 State 1으로 전환한다. 보행이 종료될 때까지 이 과정을 반복한다.

2.3 보행주기분석 알고리즘

앞에서 설명한 보행위치 추정 알고리즘은 LHS 혹은 RHS에서 발과 지면이 닿는 지점을 계산하고 이점을 기준으로 인체의 보행위치를 추정한다. 본 논문에서는 LHS 와 RHS를 검출하기 위해 추가의 센서를 사용하지 않고 정강이 외측에 부착된 관성측정센서 SL2와 SR2에서 측정되는 정강이의 각도 값을 이용하여 LHS와 RHS를 검출한다.24

Fig. 4는 보행 중에 SL2와 SR2에서 측정한 좌우측 정강이의 각속도와 각도 값을 보여준다. 이때 각도는 지면으로부터 수직한 Coronal 평면을 기준으로 보행방향이 − 반대방향이 +로 정의되었다. 보행 시 발이 지면에 닿는 순간 정강이를 보행방향으로 쭉 뻗게 되므로 이때 정강이의 각도 값이 보행 중 가장 작은 값을 갖는다. Fig. 4의 각도 그래프를 보면 좌우측 정강이의 각도는 대략 −30o 근방에서 주기적으로 최소값을 갖는데 SL2와 SR2로부터 각도 값을 입력 받아 최소 값을 갖는 지점을 검출함으로써 LHS와 RHS를 인식할 수 있다.

Fig. 4

Detection of LHS and RHS using shin angle analysis

Table 1은 보행 중 실시간으로 LHS와 RHS를 인식하기 위한 알고리즘을 보여준다. 보행주기분석 알고리즘은 측정(Calibration), 인식(Detection), 갱신(Update)의 3단계로 구성된다. 먼저 측정단계에서는 최초 m(3-5)사이클의 보행에서 SL2와 SR2에서 측정되는 Pitch 각도(αL, αR)의 최소값을 구하고 이 값의 평균을 취하여 LSH와 RHS 검출을 위한 정강이 각도의 임계 값 αLthresh, αRthresh을 정의한다. 측정단계에서는 SL2와 SR2에서 측정되는 αL, αRαLthresh, αRthresh보다 작은가를 비교하여 작게 되는 경우 그 순간을 LSH 혹은 RHS로 판단한다. 보행상태가 State1일 경우 αR<αRthresh인가를 비교하여 이 조건이 만족될 경우 RHS로 판단하고 State 2로 전환한다. 보행상태가 State 2일 경우 αL<αLthresh인가를 비교하여 이 조건이 만족될 경우 LHS로 판단하고 State 1으로 전환한다. 마지막 갱신 단계에서는 측정단계에서 검출한 αL, αR의 최소값을 이용하여 αLthresh, αRthresh을 갱신한다. 최신의 M 사이클의 αL, αR의 최소값의 평균을 취하여 αLthresh,αRthresh을 갱신한다.

Walking cycle analysis algorithm


3. 실험 결과

3.1 보행주기분석 알고리즘 신뢰성 검증

앞에서 설명한 정강이 각도 αL, αR을 이용한 LHS 및 RHS 검출 알고리즘의 신뢰성을 검증하기 위해 Fig. 5와 같이 실험을 구성하였다. 보행자가 보행을 할 때 발이 지면에 닿는 순간을 감지하기 위해 Force Sensing Register (FSR) 센서(RA30P, 마블덱스)를 오른발 뒤꿈치에 붙이고 센서 출력신호를 무선 DAQ Board (myRio, National Instrument)에 연결하였다. 관성측정센서(MTw Awinda, Xsens)를 오른쪽 정강에 외측에 부착하여 αR을 측정하였다. 관성측정센서의 샘플링과 데이터 전송주기는 200 Hz이다. 관성측정센서와 FSR 센서 측정값은 Wifi를 통해 PC로 전송되어 보행주기분석 알고리즘으로 입력된다.

Fig. 5

Experimental configuration for validation of walking cycle analysis

Fig. 6은 위의 실험에서 측정된 αL과 FSR 센서에서 측정된 출력전압을 보여준다. FSR 센서는 외력을 받을 때 출력전압이 증가하므로 뒤꿈치가 지면에 접촉하는 순간에 전압 값이 급격히 증가하게 된다. 즉 전압 값이 급격히 증가하는 순간을 RHS라고 할 수 있다. Fig. 6의 그래프에서 붉은색 점선으로 FSR 센서의 출력 전압 값이 증가하는 순간을 표시하였다. 붉은색 점선을 동일한 시점의 αL 그래프로 연장하였을 때 연장선이 αL의 국소 최저점을 지나는 것을 볼 수 있다. 이 실험결과로부터 αL의 국소 최소점을 LHS로 검출하는 알고리즘이 타당하는 것을 검증할 수 있었다.

Fig. 6

Experimental results of validation of walking cycle analysis algorithm

3.2 보행위치 측정 정확성 검증

본 논문에서 제안하는 보행위치 측정 방법의 정확성을 검증하기 위해 신체 사이즈가 다른 두 명의 피실험자를 대상으로 보행위치 측정 실험을 하였다. Table 2는 피실험자의 신체 사이즈를 보여준다. 각 피실험자에게 Fig. 7과 같이 총 5개의 관성측정센서(MTw Awinda, Xsens)를 부착하고 센서의 출력신호를 Wifi를 통해 PC로 전송 받아 피 설험자가 보행하는 동안의 보행위치를 실시간으로 계산하였다. 미리 정해진 4개의 보행경로를 피실험자가 보행하도록 하고 보행위치를 측정하였다. 실험에는 3개의 직선경로(3m, 5 m, 7 m)와 한개의 원형 경로(반지름 1 m)가 사용되었다. 직선경로 실험에서는 피실험자가 정해진 경로를 5회 반복하여 보행하도록 하여 각각의 보행에서 보행위치를 측정하였다. 원형경로 실험에서는 원의 둘레를 1/4, 1/2, 3/4, 1 바퀴 보행하도록하고 각각의 경우에 보행위치를 측정하였다. 원형경로 실험도 5회 반복하여 실험하였다.

Body size of human subject for experiments of walking position measurement

Fig. 7

Attachment of IMU sensors

Table 3Fig. 8은 직선주행경로의 보행위치 측정 실험결과를 보여준다. 3 m, 5 m, 7 m 실험에서 피실험자 1의 경우 보행위치 측정오차는 약 0.03 m - 0.05 m였고 피실험자 2의 경우 측정오차는 약 0.01 m - 0.1 m였다. 전체 실험에서 최대위치측정오차는 이동거리의 1.4% 이내로 측정되었다. Fig. 9는 원형경로 실험에서 기준점과 측정된 위치를 보여준다. 지름 1 m의 원형경로에서 1/4, 1/2, 3/4, 1 바퀴 지점에서 위치를 측정하였다. 아래 그림에서 보는 바와 같이 측정결과는 직선경로 실험에 비해 오차가 크게 나타났다. 피실험자 1의 경우 최대측정오차는 3/4바퀴 지점에서 약 0.1였고, 피실험자 2의 경우 최대측정오차는 1바퀴 지점에서 약 0.14 m였다. 피실험자 1과 2에서 각각 최대측정오차는 이동거리의 2.1%와 2.2% 이내로 나타났다.

Experimental results of straight walking

Fig. 8

Experimental results of straight walking

Fig. 9

Experimental results of circular walking


4. 결론

본 논문에서는 인체 하지의 기구학 모델을 이용한 보행위치 측정 알고리즘을 제안하였다. 사람이 걸을 때 항상 한쪽 발은 지면에 고정한다는 점에 착안하여 보행상태에 따라 왼발 혹은 오른발의 고정된 점을 기준으로 하지의 기구학 모델을 이용하여 인체의 보행위치를 측정하였다. 발이 지면에 닿는 Heel Strike (HS) 순간을 별도의 센서 없이 검출하기 위하여 보행 중 정강이 각도의 특성을 분석하여 HS를 검출하는 알고리즘을 제안하였다. HS를 검출할 수 있는 센서 시스템을 구축하여 실험적으로 제안하는 HS 검출 알고리즘의 신뢰성을 검증하였다. 신체 사이즈가 다른 두 명의 피실험자를 대상으로 보행위치 측정 알고리즘의 위치측정 정확성 검증을 위한 실험을 수행하였다. 직선경로의 경우 최대위치 측정오차는 이동거리의 약 1.4% 이내로 나타났고 원형경로의 경우 이동거리의 2.2% 이내로 나타났다. 이와 같은 오차가 발생하는 이유는 첫째, 위치측정에서 발목 관절에 의한 영향을 고려하지 않았고, 둘째 엉덩관절 부분에서 Pitch와 Yaw는 고려했지만 Roll의 영향을 고려하지 않았다. 원형경로의 경우 보행에서 엉덩관절의 Roll에 의한 영향이 직선경로에 비해 상대적으로 크기 때문에 원형경로에서 오차가 더 크게 나타났다. 본 논문에서는 착용형 관성측정센서를 이용하여 사람의 보행위치를 실시간으로 측정할 수 있는 방법을 제안하였다. 이 방법은 재활의학분야, 스포츠 의학분야, 게임 등의 다양한 분야에서 인체의 이동경로를 측정하는데 활용될 수 있다. 향후 보행위치측정 정확도를 향상시키고 센서의 개수를 최소화하는 후속연구가 진행되어야 할 것이다.

Acknowledgments

이 논문은 2018년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구사업임(No. 2017R1C1B5018218, 2017R1C1B5018171, 2018R1A5A7023490).

REFERENCES

  • Menache, A., “Understanding Motion Capture for Computer Animation and Video Games,” Academic Press, 2000.
  • Vlasic, D., Adelsberger, R., Vannucci, G., Barnwell, J., Gross, M., et al., “Practical Motion Capture in Everyday Surroundings,” ACM Transactions on Graphics, Vol. 26, pp. 35-44, 2007 [https://doi.org/10.1145/1276377.1276421]
  • Luinge, H. J., “Inertial Sensing of Human Movement,” Twente University Press Enschede, 2002.
  • Bachmann, E. R., “Inertial and Magnetic Tracking of Limb Segment Orientation for Inserting Humans into Synthetic Environments,” Naval Postgraduate School Monterey, 2000.
  • Roetenberg, D., Luinge, H., and Slycke, P., “Xsens MVN: Full 6DOF Human Motion Tracking Using Miniature Inertial Sensors,” Xsens Motion Technologies, Vol. 1, pp.1-9, 2009.
  • Yun, X. and Bachmann, E. R., “Design, Implementation, and Experimental Results of a Quaternion-Based Kalman Filter for Human Body Motion Tracking,” IEEE Transactions on Robotics, Vol. 22, No. 6, pp. 1216-1227, 2006. [https://doi.org/10.1109/TRO.2006.886270]
  • Chen, P.-Z., Li, J., Luo, M., and Zhu, N.-H., “Real-Time Human Motion Capture Driven by a Wireless Sensor Network,” International Journal of Computer Games Technology, Vol. 2015, No. 4, pp. 695874, 2015. [https://doi.org/10.1155/2015/695874]
  • Damian, I., Obaid, M., Kistler, F., and André, E., “Augmented Reality Using a 3D Motion Capturing Suit,” Proc. of the 4th Augmented Human International Conference, pp. 233-234, 2013. [https://doi.org/10.1145/2459236.2459277]
  • Shingade, A. and Ghotkar, A., “Animation of 3D Human Model Using Markerless Motion Capture Applied to Sports,” International Journal of Computer Graphics Animation, Vol. 4, No. 1, pp. 27-39, 2014. [https://doi.org/10.5121/ijcga.2014.4103]
  • Zihajehzadeh, S., Lee, T. J., Lee, J.-K., Hoskinson, R., and Park, E. J., “Integration of MEMS Inertial and Pressure Sensors for Vertical Trajectory Determination,” IEEE Trans. Instrumentation and Measurement, Vol. 64, No. 3, pp. 804-814, 2015. [https://doi.org/10.1109/TIM.2014.2359813]
  • Zihajehzadeh, S., Loh, D., Lee, M., Hoskinson, R., and Park, E., “A Cascaded Two-Step Kalman Filter for Estimation of Human Body Segment Orientation Using MEMS-IMU,” Proc. of IEEE Engineering in Medicine and Biology Society 36th Annual International Conference, pp. 6270-6273, 2014. [https://doi.org/10.1109/EMBC.2014.6945062]
  • Zihajehzadeh, S., Loh, D., Lee, T. J., Hoskinson, R., and Park, E. J., “A Cascaded Kalman Filter-Based GPS/MEMS-IMU Integration for Sports Applications,” Measurement, Vol. 73, pp. 200-210, 2015. [https://doi.org/10.1016/j.measurement.2015.05.023]
  • Favre, J., Jolles, B., Aissaoui, R., and Aminian, K., “Ambulatory Measurement of 3D Knee Joint Angle,” Journal of Biomechanics, Vol. 41, No. 5, pp. 1029-1035, 2008. [https://doi.org/10.1016/j.jbiomech.2007.12.003]
  • Nguyen, K. D., Chen, I.-M., Luo, Z., Yeo, S. H., and Duh, H. B.-L., “A Wearable Sensing System for Tracking and Monitoring of Functional ARM Movement,” IEEE/ASME Transactions on Mechatronics, Vol. 16, No. 2, pp. 213-220, 2011. [https://doi.org/10.1109/TMECH.2009.2039222]
  • Scapellato, S., Cavallo, F., Martelloni, C., and Sabatini, A. M., “In-Use Calibration of Body-Mounted Gyroscopes for Applications in Gait Analysis,” Sensors and Actuators A: Physical, Vol. 123, pp. 418-422, 2005. [https://doi.org/10.1016/j.sna.2005.03.052]
  • Kim, M.-K., Kim, T. Y., and Lyou, J., “Performance Improvement of An AHRS for Motion Capture,” Journal of Institute of Control, Robotics and Systems, Vol. 21, No. 12, pp. 1167-1172, 2015. [https://doi.org/10.5302/J.ICROS.2015.15.0116]
  • Jung H., Kim M., and Lyou J., “Implementation of Hybrid Motion Capture System for Behavior Pattern Analysis of Disaster Recovery Workers,” Journal of Institute of Control, Robotics and Systems, Vol. 23, No. 5, pp. 323-331, 2017. [https://doi.org/10.5302/J.ICROS.2017.17.0053]
  • Foxlin, E., “Pedestrian Tracking with Shoe-Mounted Inertial Sensors,” IEEE Computer Graphics and Applications, Vol. 25, No. 6, pp. 38-46, 2005. [https://doi.org/10.1109/MCG.2005.140]
  • Zihajehzadeh, S. and Park, E. J., “A Novel Biomechanical Model-Aided IMU/UWB Fusion for Magnetometer-Free Lower Body Motion Capture,” IEEE Transactions on Systems, Man, and Cybernetics: Systems, Vol. 47, No. 6, pp. 927-938, 2017. [https://doi.org/10.1109/TSMC.2016.2521823]
  • Kocur, D., Kažimír, P., Fortes, J., Novák, D., Drutarovský, M., et al., “Short-Range UWB Radar: Surveillance Robot Equipment of the Future,” Proc. of IEEE International Conference on Systems Man and Cybernetics, pp. 3767-3772, 2014. [https://doi.org/10.1109/SMC.2014.6974517]
  • Yuan, Q. and Chen, I.-M., “Human Velocity and Dynamic Behavior Tracking Method for Inertial Capture System,” Sensors and Actuators A: Physical, Vol. 183, pp. 123-131, 2012. [https://doi.org/10.1016/j.sna.2012.06.003]
  • Kim, M. K., Kim, J. K., and Lee, D., “Pedestrian Walking Velocity Estimation Based on Wearable Inertial Sensors and Lower-Limb Kinematics,” Transactions of the Korean Society of Mechanical Engineers A, Vol. 41, No. 9, pp. 799-807, 2017.
  • Lee, M. S., Ju, H., Song, J. W., and Park, C. G., “Kinematic Model-Based Pedestrian Dead Reckoning for Heading Correction and Lower Body Motion Tracking,” Sensors, Vol. 15, No. 11, pp. 28129-28153, 2015. [https://doi.org/10.3390/s151128129]
  • Bejarano, N. C., Ambrosini, E., Pedrocchi, A., Ferrigno, G., Monticone, M., et al., “A Novel Adaptive, Real-Time Algorithm to Detect Gait Events from Wearable Sensors,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 23, No. 3, pp. 413-422, 2015. [https://doi.org/10.1109/TNSRE.2014.2337914]
Kee Wook Song

BS student in the Department of Mechanical Engineering, Konkuk University. His research interest is motion capture.

E-mail: rldnr831@naver.com

Young Eun Song

Assistant Professor in the Department of Electrical Engineering, Hoseo University. His research interest is AV/VR interface.

E-mail: tdsong@hoseo.edu

Hoeryong Jung

Assistant Professor in the Department of Mechanical Engineering, Konkuk University. His research interest is medical robots and virtual reality.

E-mail: junghl80@konkuk.ac.kr

Fig. 1

Fig. 1
Coordinate frame assigned to joints of lower body

Fig. 2

Fig. 2
Classification of walking state

Fig. 3

Fig. 3
Flow chart of the walking position measurement algorithm

Fig. 4

Fig. 4
Detection of LHS and RHS using shin angle analysis

Fig. 5

Fig. 5
Experimental configuration for validation of walking cycle analysis

Fig. 6

Fig. 6
Experimental results of validation of walking cycle analysis algorithm

Fig. 7

Fig. 7
Attachment of IMU sensors

Fig. 8

Fig. 8
Experimental results of straight walking

Fig. 9

Fig. 9
Experimental results of circular walking

Table 1

Walking cycle analysis algorithm

Algorithm: Walking cycle analysis (RHS and LHS detection)
1: Compute αLthresh and αRthresh
2: While motion capture program is executed
3: If State = State 1 then
4: Input angle αR
5: If αR<αRthresh then
6: State = State 2
7: Update αRthresh
8: Endif
9: Else if State = State 2 then
10: Input angle αR
11: If αR<αRthresh then
12: State = State1
13: Update αLthresh
14: Endif
15: Endif
16: Endwhile

Table 2

Body size of human subject for experiments of walking position measurement

Subject 1 Subject 2
Height (cm) 170 181
Weight (cm) 67 85
α0 (cm) 33 36
α1 (cm) 45 49
α2 (cm) 48 49

Table 3

Experimental results of straight walking

Subject 1 Subject 2
3M 5M 7M 3M 5M 7M
Min 295.1 489.7 712.8 292.0 490.4 686.6
Max 309.8 511.5 695.0 300.9 509.6 694.0
Aver 304.4 503.5 704.8 296.5 499.9 690.4
SD 5.7 9.2 6.6 4.2 6.8 2.6