Object Pose 추정을 이용한 의수 손목 제어

1. 서론

인간 손목은 팔/손 시스템의 이동성에 크게 기여하여 손재주와 조작 능력에 있어서 큰 역할을 한다. 그러므로 손이나 그리퍼와 같은 엔드 이펙터를 통해 원하는 작업을 수행하는 능력을 구현하기 위한 로봇 및 보철 팔은 손목관절을 가지고 있다. 그러나, 의수에 관한 연구에서는 손목보다 손/그리퍼 개발에 초점을 맞추고 있다[1]. 최근 보철 연구에 따르면, 손목 보철물의 민첩성이 향상되면 손목 기능이 제한된 전동 의수 장치보다 조작 능력이 뛰어난 것으로 보고되었다[2]. 손목은 파지에 필요한 추가적인 병진 운동을 하지 않고도 시스템의 엔드 이펙터 방향을 지정할 수 있기 때문에 조작 능력을 크게 향상시킬 수 있다.

Fig. 1

Prosthetic hand with or without forearm rotation [2] (Adapted from Ref. 2 on the basis of OA)

만약, 손목의 회전 움직임이 부족하면 손목과 팔의 다른 부분이 이를 보상하려고 하면서 통증, 불편함, 그리고 이차적인 골근격계 질환의 발생 가능성이 커진다[3].

그동안의 의수 제품들은 주로 근전도(Electromyography) 센서를 활용한 손가락 제어 방식을 채택해왔다. 그러나 이러한 방식은 한 근육을 통해 여러 동작을 제어하기 때문에 손목과 손을 동시에 연속적으로 제어가 불가능하다. 이로 인해 사용자는 의도치 않은 중단을 겪거나 의도치 않은 움직임을 하게 되거나 정신적인 부담을 받을 수 있다. 시각 데이터에 기반한 의수 제어는 이러한 문제를 해결할 수 있다. 컴퓨터 비전은 실시간성을 보장할 수 있고 지속적으로 상황을 감지할 수 있기 때문에 의수 제어에 활용된 예가 있다. 의수의 파지 성능을 위해 Depth 카메라를 통해 파지 대상의 Orientation과 형상 및 크기 파라미터를 획득하는 데 사용되었으며[4], 의수 손목에 위치한 카메라를 통해 딥러닝 기법의 이미지 Classification을 사용하여 대상을 파지하기에 적절한 제스처를 선택하는 것에 사용되었다[5].

본 연구에서는 단일 카메라와 관성 측정장치만으로 파지 대상의 형상 및 기울기를 추정하고 이를 이용하여 의수 손목을 자동적으로 제어하여 사용자의 편의성 증대에 적용할 수 있음을 보이고자 한다.

본 논문의 2장에서는 의수를 구성하는 하드웨어, 3장에서는 제어부 설계에 관한 내용을 상세히 다루고, 4장에서는 제안한 방법을 적용한 의수와 그에 대한 테스트 베드에서의 실험 결과를 소개한다. 5장에서는 이러한 결과를 토대로 한 본 연구의 결론을 도출한다. 이를 통해 새로운 의수 제어 방식의 가능성과 향후 연구 방향에 대한 논의로 마무리하고자 한다.

2. 하드웨어 설계

2.1 시스템 개론

본 연구에서 개발된 시스템은 물체의 기울기를 감지해 의수를 알맞은 각도로 회전 후 파지한다. Fig. 2와 같이, 의수시스템은 시야 정보를 얻는 카메라, 카메라의 기울기를 보정하기 위한 관성측정센서(Inertial Measurement Unit, IMU), 파지 여부를 판단하는 근전도센서로 구성된 센서부, 그리고 물체를 파지하는 로봇손으로 구성된다.

Fig. 2

The system overview

2.1.1 파지부(Grasping Part)

본 연구에서 사용된 의수(Fig. 3)는 Linkage-driven 방식으로 제어하는 HRI Hand 모델을 참고하여 제작되었다[6]. 기존의 HRI Hand 모델과 비교하여, 본 연구를 위하여 제작된 의수는 다음과 같이 변경되었다. 첫째, 손목 회전 기능을 추가하기 위하여 HRI Hand의 하단을 수정해 서보 모터를 추가하고 제어 기판을 수정하였다. 둘째, 가벼우면서도 높은 내구성을 지닌 의수를 만들기 위하여, 손가락 관절에서 높은 하중을 받는 링크는 알루미늄으로 제작되었으며, 나머지 링크는 PLA/SLA를 이용한 3D 프린팅을 통하여 제작되었다.

Fig. 3

Grasping part of the system

완성된 의수는 약 0.8 kg의 무게를 지니며 검지부터 약지까지는 각각 하나의 리니어 모터, 엄지에는 2개의 리니어 모터를 사용하고 손목회전을 위한 서보 모터를 활용해 총 7자유도를 지닌다.

실제 사람의 손목과 전완의 움직임은 3자유도를 지니며 손목의 굽힘/폄(Wrist Flexion/Extension), 손목의 척측/요측 편위(Ulnar/Radial Deviation), 전완의 내/외회전(Forearm Pronation/Supination)이 있다[7]. 그 중에서 가장 중요한 축 방향의 회전인 전완의 내/외회전을 베어링과 서보 모터(SG-90, TowerPro)를 통해서 구현하였다.

제작한 의수의 다양한 형태에 대한 파지 기능을 검증하기 위해서 실험을 진행하였다. Fig. 4(a)와 같이 파지 대상이 되는 다양한 형태를 파지 형태에 따라 나누고 실제로 파지하였다(Fig. 4(b)). 실험 결과 Power Grip의 경우에는 약 5 kg의 물체를 파지할 수 있었으며, 다양한 파지 동작을 수행하는 것을 확인하였다.

Fig. 4

Illustration of the grasp performance

2.1.2 센서부(Sensor Part)

카메라(Brave 7 LE, AKASO)는 파지하고자 하는 대상의 기울기 정보를 얻기 위해서 사용한다. 사람이 바라보는 방향의 물체를 감지하기 위해서 카메라는 사용자의 머리에 장착하였다.

카메라에서 얻은 물체의 기울기를 실제 좌표계로 보정하기 위해서 카메라에 관성 측정장치(MPU 6050, Invensense)를 고정해 카메라의 기울기를 측정한다. 관성 측정장치에 내장된 Digital Motion Processor (DMP)를 사용하여 자세 추정을 실행하였다.

물체의 파지 여부를 판단하기 위해서 전완의 2개 부위에 표면 근전도 센서(SEN0240, DFRobot)를 부착하여 평소 상태와 손을 쥐거나 필 때를 판단한다. 노이즈의 영향을 줄이기 위해서 일반적으로 근전도 신호에 사용되는 20-500 Hz의 대역 통과 필터(Bandpass Filter, BPF)를 사용한다[8]. 필터를 통과한 데이터로부터 통계적 수치(MAV, RMS, VAR, WL, SSC, WAMP)를 학습데이터로 사용하였다. 이후 SVM (Support Vector Machine)으로 작성된 모델을 통해 Rest, Flexion, Extension으로 분류하였다. 근전도 신호가 Rest로 분류되면 의수의 손은 정지상태에 있고, Flexion으로 분류될 경우에는 파지 동작이 수행되고, Extension으로 분류될 경우에는 손을 펴는 동작을 수행하도록 제어하였다.

Fig. 5

Flow chart of the control procedure

3. 제어부 설계

3.1 MCU 및 통신

Fig. 6은 전체 시스템의 제어 구성도를 보여주고 있다. 2개의 MCU가 각각 파지부와 센서부에서 사용되며 MCU로는 Teensy 4.1(32-bit ARM Processor, 600 MHz)을 사용한다.

Fig. 6

Architecture of the control system

파지부에서 MCU는 PWM 신호를 모터로 전송하여 손목 회전 및 손가락의 움직임을 제어한다. 센서부에서는 2채널 표면 근전도센서와 카메라에 고정된 관성 측정장치에서 각각 1,000, 10 Hz의 Sampling Rate로 센서값을 측정한다.

이미지 처리와 근전도신호 분류에 필요한 PC로는는 MacBook Pro(64-bit ARM Processor, 3.2 GHz)가 사용되었다. PC와 Teensy 4.1은 시리얼 통신을 통해서 연결된다. 서로 다른 이미지 처리 빈도와 센서의 Sampling Rate문제를 해결하기 위해서 시리얼 통신은 Threading을 사용해 처리하였다.

3.2 파지 대상의 기울기에 맞춰 의수 손목각도 제어

3.2.1 딥러닝 모델을 통한 파지 대상의 6D Pose 추론

파지 대상의 기울기를 추론하기 위해 물체의 형상과 Orientation을 추정할 필요가 있다. 이를 수행하기 위해 거리를 측정할 수 있는 Depth 카메라나 LiDAR를 사용할 수 있지만, 본 연구는 실제 의수 사용 환경에 맞는 컴퓨팅 리소스와 추정 속도, 가격 그리고 무게를 고려하여 단안 카메라 만으로 일상생활에서 마주할 수 있는 물체의 기울기를 추론하는 것을 목표로 설정했다. 이를 위해 2D 영상으로부터 물체를 감지하고, 카메라 좌표계 기준 3D Bounding Box와 Rotation Matrix를 추정하는 모델인 Objectron[9]을 사용하였다.

Objectron은 총 8개 종류의 일상생활에서 마주할 수 있는 물체(Bikes, Books, Bottles, Cameras, Cereal Boxes, Chairs, Cups, Laptop)를 인식할 수 있도록 학습되었으며, 다른 모델들에 비해 적은 컴퓨팅 리소스를 소모하면서도 추정속도가 빠르다는 장점을 지닌다.

3.2.2 IMU 센서 퓨전을 통한 실제 기울기 도출

위 모델로부터 추정한 물체의 기울기는 카메라 좌표계를 기준으로 정의되어, 카메라가 기울어져 있다면 실제 기울기와 오차가 생긴다. 이를 카메라에 부착된 관성 측정장치로부터 카메라의 기울기를 얻고, 데이터를 종합하여 월드 좌표계에 맞도록 보정해야 한다.

Objectron으로부터 추정한 카메라 좌표계로 정의된 회전행렬 R_Objectron과 관성 측정장치로부터 측정한 카메라의 회전행렬 R_IMU를 곱하여 월드 좌표계로 정의된 물체의 회전행렬 R_World를 도출할 수 있다. 이때 Objectron과 관성 측정장치가 서로 다른 방향의 좌표계를 지녔기 때문에 좌표계 간의 회전행렬 R_aixs을 곱하여 좌표계 변환을 수행하였다. 따라서 현실 좌표계를 기준으로 정의된 물체의 회전행렬 R_World는 식(1)과 같이 구할 수 있다.

$\[ R_{World }=R_{IMU}\times R_{axis }\times R_{objectron }\times R_{axis }^T \]$

(1)

3.2.3 딥러닝 모델의 노이즈 제거

딥러닝 모델의 치명적인 단점은 불충분한 학습데이터, 편향된 훈련, 관찰 소음, 어수선한 배경 등으로 인해 부정확한 추론 값을 가질 수 있다는 점이다. 이러한 불확실성과 예측 오차의 문제점을 해결하기 위해서 Gaussian Filter를 사용하였다.

Fig. 7에서와 같이 반복된 실험을 통해 필터를 거친 결과가 실제 기울기의 경향성을 보이면서도 급격한 변화를 보이지 않는 결과값을 추정하는 σ 값인 10을 사용하였다.

Fig. 7

Noise reduction by the gaussian filter

4. 실험

4.2 실험 결과

Fig. 8에서 보여지듯이 실제로 제작한 의수의 손목 각도가 물체의 기울기를 잘 따라감을 확인하였다. 의수 손목 각도의 제어는 앞선 식(1)에서 설명했듯이 Objectron으로 측정하고 카메라에 고정된 관성 측정장치를 통해 보정한 기울기에 필터를 적용한 최종 예측 기울기를 사용해 제어하였다. 약 10 Hz의 빈도로 제어 명령이 수행되었으며, 따라서 제어명령까지의 지연이 약 100 ms이었음을 확인할 수 있다. 인체의 반응속도를 250 ms 이상으로 고려하면 의수의 사용에는 제한이 적음을 확인할 수 있다[10].

Fig. 8

Demonstration of the wrist control of the prosthetic hand

5. 결론

본 논문은 의수 사용자의 시야각으로부터 얻은 이미지와 관성 측정장치 데이터를 바탕으로 파지 대상의 자세를 추정하여 의수 손목의 회전을 제어하는 방법을 제안하였다.

딥러닝 기반의 모델을 통해 사람의 시야각에서 실시간으로 물체의 자세와 주변 상황을 추정하여, 파지 대상의 기울어진 정도에 따라 의수 손목을 자연스럽게 제어할 수 있었다. 또한, 이미지 기반 자세 추정값의 노이즈를 제거하면서도 경향성을 보존하기 위해 Gaussian Filter를 활용하였다.

본 논문에서 제안하는 방법을 통해 파지를 위해 추가적인 근육의 움직임을 필요로 하지 않으면서도 의수의 손목 각도가 물체의 기울기를 10 Hz의 빈도로 따라가며 사람의 움직임과 비슷한 파지를 수행할 수 있음을 보였다.

본 연구에서는 손목 자동제어가 의수 사용의 편의성을 높일 수 있는 가능성을 확인하였다. 그러나 제안한 시스템의 활용성을 높이기 위해서는 아래와 같은 추가적인 검증이 필요하다. 먼저, 다양한 물체에 따른 6D Pose 예측 확률이 충분히 높은 수치인지 확인해야 한다. 둘째로, 물체의 다양한 Pose에 대한 파지 확률을 측정하는 실험이 수행되어야 한다. 셋째로, 보다 복잡한 상황에서도 의수의 손목을 제어하기 위해 자유도를 추가하여 손목의 굽힘/폄(Wrist Flexion/Extension)과, 척측/요측 편위(Ulnar/Radial Deviation)를 가능하도록 하고, 물체의 Pose에 따라 손목의 3 자유도를 제어하는 알고리즘 개발이 필요하다.

Acknowledgments

본 연구는 정부(과학기술정보통신부)의 재원으로 연구재단의 지원(No. 2023R1A2C1006655)과 서울시 산학연 협력사업 2023년도 캠퍼스타운 기술매칭 지원사업(No. CT230026) 지원을 받아 수행된 연구임.

REFERENCES

• Montagnani, F., Controzzi, M., Cipriani, C., (2015), Is it finger or wrist dexterity that is missing in current hand prostheses?, Journal of the Institute of Electrical and Electronics Engineers Transactions on Neural Systems and Rehabilitation Engineering, 23(4), 600-609. [https://doi.org/10.1109/TNSRE.2015.2398112]
• Boni, I., Millenaar, J., Controzzi, M., Ortiz-Catalan, M., (2018), Restoring natural forearm rotation in transradial osseointegrated amputees, Journal of the Institute of Electrical and Electronics Engineers Transactions on Neural Systems and Rehabilitation Engineering, 26(12), 2333-2341. [https://doi.org/10.1109/TNSRE.2018.2880948]
• Markovic, M., Dosen, S., Popovic, D., Graimann, B., Farina, D., (2015), Sensor fusion and computer vision for context-aware control of a multi degree-of-freedom prosthesis, Journal of Neural Engineering, 12(6), 066022. [https://doi.org/10.1088/1741-2560/12/6/066022]
• DeGol, J., Akhtar, A., Manja, B., Bretl, T., (2016), Automatic grasp selection using a camera in a hand prosthesis, Proceedings of the 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 431-434. [https://doi.org/10.1109/EMBC.2016.7590732]
• Ren, S., He, K., Girshick, R., Sun, J., (2016), Faster R-CNN: Towards real-time object detection with region proposal networks, Journal of the Institute of Electrical and Electronics Engineers transactions on Pattern Analysis and Machine Intelligence, 39(6), 1137-1149. [https://doi.org/10.1109/TPAMI.2016.2577031]
• Park, H., Kim, D., (2020), An open-source anthropomorphic robot hand system: HRI hand, HardwareX, 7, e00100. [https://doi.org/10.1016/j.ohx.2020.e00100]
• Widodo, R. B., Quita, R. M., Setiawan, R., Wada, C., (2019), A study of hand-movement gestures to substitute for mouse-cursor placement using an inertial sensor, Journal of Sensors and Sensor Systems, 8(1), 95-104. [https://doi.org/10.5194/jsss-8-95-2019]
• Merletti, R., (1999), Standards for reporting EMG data, Journal of Electromyography and Kinesiology, 9(1), 3-4.
• Ahmadyan, A., Zhang, L., Wei, J., Ablavatski, A., Grundmann, M., (2020), Objectron: A large scale dataset of object-centric videos in the wild with pose annotations, Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 7818-7827. [https://doi.org/10.1109/CVPR46437.2021.00773]
• Abbasi-Kesbi, R., Memarzadeh-Tehran, H., Deen, M. J., (2017), Technique to estimate human reaction time based on visual perception, Healthcare Technology Letters, 4(2), 73–77. [https://doi.org/10.1049/htl.2016.0106]