햅틱 글러브를 이용한 로봇 손 제어

1. 서 론

‘만지다’라는 뜻을 갖는 그리스어 ‘haptesthai’로부터 파생된 용어인 ‘haptic’ 기술은 사람이 느끼는 근감각 또는 촉각에 관련된 기술이다. 햅틱 기술은 스마트 디바이스의 발달과 함께 큰 관심을 받았고, 최근에는 가상현실(virtual reality)과 메타버스(metaverse) 기술의 발전과 함께 다양한 연구가 진행되고 있다. 햅틱 기술은 사람이 근감각 또는 촉각을 어떻게 인지하는지에 대한 분야, 가상 공간에서의 컴퓨터 렌더링 관련 분야, 사용자에게 햅틱 정보를 전달하기 위한 햅틱 피드백 또는 햅틱 인터페이스 분야 등으로 분류될 수 있다⁽¹⁾. 그중 햅틱 피드백에 대한 연구가 최근 가장 활발하게 진행되고 있으며, 햅틱 피드백을 위한 센서, 액추에이터 등을 포함하는 햅틱 피드백 시스템 및 인터페이스에 대한 다양한 연구가 보고되고 있다.

햅틱 피드백 시스템을 적용하기 위한 노력을 진행중인 대표적인 분야는 수술 로봇 등과 같은 로봇의 정밀 원격 제어 분야이다. Kang et al.은 햅틱 기능을 구현하는데 적합하도록 액추에이터와 마스터 핸들을 분리시키는 저관성 마스터 핸들을 설계하고, 실험을 통하여 성능을 평가하였다⁽²⁾. Oh et al.은 전기유변유체를 이용한 햅틱 마스터 장치를 제안하고, 수술용 슬레이브 로봇을 제작하여 마스터-슬레이브 시스템의 성능을 평하였다⁽³⁾. Choi et al.은 다수의 로봇을 다수의 사용자가 원격 조종하기 위한 멀티 햅틱 제어 환경을 제안하였다⁽⁴⁾. Gang et al.은 로봇의 원격 제어를 위한 마스터 장치의 햅틱 액추에이터로 MR 자기유변유체 기반의 브레이크 작동기를 제안하고, 퍼지 알고리즘을 이용하여 제어 성능을 평가하였다⁽⁵⁾. Yi et al.은 범용 로봇 팔과 모터, 감속기, 제어기, 센서가 모두 통합된 모듈러 햅틱 컨트롤러를 이용한 로봇 수술 시스템을 제안하고 성능을 평가하였다⁽⁶⁾. Gang et al.은 자기유변유체 기반의 햅틱 액추에이터를 이용한 햅틱 마스터 장치를 설계하고, 슬레이브 로봇의 제어 실험을 통해 제안된 햅틱 시스템의 우수성을 검증하였다⁽⁷⁾. 최근에는 가상환경 시스템의 발달과 함께 직관적인 제어가 가능한 햅틱 글러브에 대한 연구도 활발하게 진행되고 있다. Hwang과 Lee는 이동 로봇의 원격제어를 위한 햅틱 글러브를 제안하고 실험을 통해 제안된 시스템의 성능을 평가하였다⁽⁸⁾. Jung et al.은 크레슬링 패턴을 이용한 오리가미 기반 소프트 구동기를 제안하고 햅틱 글러브에 적용하였다⁽⁹⁾. Blake and Gurocak은 자기유변유체 브레이크 액추에이터를 이용하여 가상환경과 연동하기 위한 햅틱 글러브를 제작하고 사용성을 평가하였다⁽¹⁰⁾. Baik et al.은 tendon 기반의 소프트 메커니즘을 적용한 햅틱 글러브를 제안하고 성능을 평가하였다⁽¹¹⁾. Sim et al.은 가상환경 적용을 위한 회전형 위치 센서 기반 저지연 햅틱 시스템을 제안하였다⁽¹²⁾. 이상에서 살펴본 바와 같이 최근까지 다양한 연구가 수행되었지만, 우수한 성능의 햅틱 피드백 시스템을 위해서 센서 및 액추에이터가 과도하게 커지는 단점이 있어, 햅틱 센서를 사용하지 않거나 소형 햅틱 액추에이터를 사용하는 연구가 반드시 필요하다.

이 연구에서는 햅틱 기능을 포함하는 마스터 글러브를 제안하고 슬레이브 로봇 손의 동작 제어 실험을 통해 제안된 시스템의 성능을 검증한다⁽¹³⁾. 상용 장갑의 손등에 사용자 손가락의 굽힘을 측정할 수 있는 센서와 사용자 손가락의 움직임을 제어할 수 있는 소형 햅틱 액추에이터를 부착한 마스터 글러브를 제작한다. 와이어 기반 구동 방식과 기어 기반 구도 방식을 혼합한 새로운 형태의 슬레이브 로봇 손을 설계하고 제작한다. 슬레이브 로봇에는 별도의 센서를 사용하지 않고, 로봇의 움직임을 위해 사용되는 모터의 상태 정보를 이용한다. 사용자의 손가락 움직임을 로봇 손이 동일하게 구현할 수 있는지를 실험을 통해 확인하고, 물체를 잡는 등 로봇 손의 움직임이 제한될 때 사용자도 동일한 피드백을 받을 수 있는지를 실험을 통해 확인한다. 제안된 햅틱 마스터 글러브를 이용하여 슬레이브 로봇 손의 동작을 정확하게 구현하고, 로봇 손의 상태를 사용자에게 전달하여 유연한 물체도 손상 없이 파지할 수 있음을 확인한다.

2. 시스템 설계

이 연구에서는 직관적인 로봇 손의 동작 제어와 사용자에 대한 햅틱 피드백을 제공하기 위하여 글러브 형태의 인터페이스 장치를 고려하였다. 이 연구에서 제안한 햅틱 글러브의 사진을 Fig. 1에 나타내었다. 장갑은 주변에서 쉽게 구할 수 있는 상용 장갑을 이용하였다. 사람 손가락의 동작을 인식하고, 슬레이브 로봇 손의 동작을 동일하게 제어하기 위하여 굽힘 변형에 대하여 저항 값이 변하는 플렉스(flex) 센서를 장갑의 각 손가락 위치에 부착하였다. 또한, 슬레이브 로봇 손의 상태를 사람 손에 동일하게 전달하기 위한 햅텍 액추에이터로 다섯 개의 소형 서보 모터를 사용하였으며, 3D 프린터로 제작된 케이스에 고정하고 손등에 위치하도록 하였다. 햅틱 효과를 제공하기 위한 서보 모터와 장갑의 손가락 부분은 와이어를 이용하여 연결하였고, 장갑과 와이어의 연결을 용이하게 하기 위하여 손가락에 끼울 수 있는 링을 3D 프린터를 이용하여 제작하고 활용하였다. 마스터 햅틱 글러브에 사용된 센서와 서보 모터의 사양은 Table 1에 나타내었다.

Fig. 1

The fabricated master haptic glove

Table 1

Sensor and actuator specifications of glove

이 연구에서 제안된 슬레이브 로봇 손의 개념도를 Fig. 2(a)와 Fig. 2(b)에 나타내었다. Fig. 2(a)는 설계된 전체 슬레이브 로봇 손의 3차원 모델을 나타낸 것이다. 사람 손의 해부학적 특성을 고려하여 설계된 로봇 손에는 사람의 손과 동일하게 다섯개의 손가락이 적용되었다. 검지부터 약지까지 네 개의 손가락은 손바닥 안쪽 방향으로 굽혀지는 동작만 구현이 가능하고, 물체를 파지하는 데 중요한 역할을 하는 엄지는 사람의 엄지와 동일하게 엄지 전체가 손바닥 안쪽 방향으로 접히는 동작과 손가락이 굽혀지는 두 가지 동작이 가능하도록 설계되었다. 각 손가락은 개별적으로 하나의 서보 모터가 장착되어 각 손가락이 독립적으로 움직일 수 있도록 하였고, 서보 모터는 손목 아래에 위치하도록 하였으며 사용된 서보 모터의 사양은 Table 2에 나타내었다.

Fig. 2

Schematics of the proposed robot hand

Table 2

Actuator specifications of robot hand

로봇 손가락의 구동을 위해서는 와이어를 이용한 구동 방식과 기어를 이용한 구동 방식이 주로 사용된다. 와이어를 이용한 간접 구동 방식은 손가락으로부터 멀리 떨어진 곳에 구동 모터를 위치시키고 손가락 끝에서 구동 모터까지 와이어로 연결하고, 모터 제어를 통해 손가락 끝의 위치를 제어하여 손가락을 동작시키는 방법이다. 로봇 손가락의 외부에 추가적인 부품이 부착되지 않아 부피가 작은 장점이 있지만, 손가락의 끝 점만 위치를 제어하여 정확도가 다소 낮고 파지력이 다소 작은 단점이 있다. 기어를 이용한 직접 구동 방식은 모터를 손가락과 손등이 연결되는 곳에 위치시키고 기어를 통해 손가락의 첫 번째 마디를 구동한다. 손가락은 세 개의 마디로 구성되고 손가락 끝의 위치는 구동 모터를 통해 4절 링크의 위치 제어와 동일한 방법으로 제어된다. 모터를 구동하여 기어와 링크를 이용하여 직접 위치 제어를 하여 정확도가 높고, 파지력도 크지만, 손등이나 손가락 위쪽에 모터와 기어 등이 위치하여 부피가 커지는 단점이 있다. 이 연구에서는 두 방식을 혼합하여 새로운 방식을 사용하였다. 간접 구동 방식과 같이 손가락에서 떨어진 위치에 모터를 위치하고, 와이어를 이용하여 손가락의 첫번째 마디의 위치를 제어한다. 직접 구동 방식과 같이 손가락의 세 마디는 링크로 연결되어 손가락 끝 점의 정확한 위치 제어가 가능하도록 하였다. Fig. 2(b)는 로봇 손가락의 3차원 모델을 나타낸 것으로 손가락의 각 마디가 링크로 연결되어 있는 것을 확인할 수 있다. Fig. 3은 3D 프린터로 제작된 로봇 손의 사진이며, 검은색으로 표시된 와이어가 손가락 첫 번째 마디에만 연결되어 있는 것을 확인할 수 있으며, 손가락 구동 모터는 손목 아래에 위치하도록 하였다.

Fig. 3

The fabricated robot hand

3. 성능 평가

마스터 글러브를 이용한 동작 인식과 슬레이브 로봇 손 제어 및 글러브로 다시 로봇 손의 상태를 전달하는 전체 햅틱 피드백 시스템의 흐름도를 Fig. 4에 나타내었다. 사용자 손가락의 위치 정보를 마스터 글러브의 센서를 이용하여 인식하고, 슬레이브 로봇 손가락의 위치를 측정된 정보를 이용하여 동기화한다. 로봇 손이 물체를 잡거나 외부 요인에 인하여 측정된 로봇 손가락의 위치가 마스터 글러브의 위치 정보와 일치하지 않는 경우, 마스터 글러브의 햅틱 액추에이터를 통해 사용자에게 햅틱 피드백을 제공하게 된다. 먼저, 마스터 글러브 손가락의 동작을 인식하고 동일하게 로봇 손을 제어하기 위하여 글러브에 부착된 플렉스 센서의 측정값과 로봇 손의 동작을 제어하는 서보 모터 입력값의 관계를 정확하게 설정해야 한다. 먼저 마스터 글러브의 손가락을 완전히 펴고 있을 때와 주먹을 쥐는 동작에서 손가락을 완전히 접었을 때의 저항 값을 최소값과 최대값으로 한다. 또한, 로봇 손가락이 완전히 펴져 있을 때와, 완전히 굽혀질 때 필요한 모터의 입력전압을 최소값과 최대값으로 한다. 플렉스 센서 출력의 최대, 최소값과 모터 입력의 최대, 최소값을 대응시키고 그 사이는 선형으로 대응시킨다. 슬레이브 로봇 손가락의 위치 정보는 별도의 센서를 사용하지 않고, 로봇 손가락을 움직이는 소형 서보 모터에서 제공되는 위치 정보를 이용한다. 이를 통해 슬레이브 로봇 시스템을 단순화할 수 있다. 마스터 글러브와 슬레이브 로봇 손의 동작이 동기화되는 것은 Fig. 5(a)와 Fig. 5(b)에 나타내었다. 사용자가 주먹을 쥐는 동작과 동일하게 슬레이브 로봇이 주먹을 쥐는 동작을 구현하는 것을 확인할 수 있다. 마스터 글러브와 슬레이브 로봇 손을 이용한 동작 동기화 결과를 위치 제어 정보를 통해 확인할 수 있으며, Fig. 6에 실험 결과를 나타내었다. Fig. 6(a)는 슬레이브 로봇 손에 아무런 저항이 없이 마스터 글러브의 손가락과 동일한 위치까지 로봇 손가락이 이동한 결과로, 파란색 선(goal position)이 마스터 글러브 손가락의 위치로 목표값이 되고, 붉은색 선(present position)이 로봇 손가락의 위치이다. Fig. 6(a)에 나타난 바와 같이 두 값의 차이가 없는 경우에는 햅틱 피드백 신호가 발생하지 않게 된다. Fig. 6(b)는 슬레이브 로봇 손이 물체를 파지하는 경우와 같이 로봇 손가락의 위치가 마스터 글러브의 목표 위치에 도달하지 못하고, 위치 정보 차이가 발생하는 경우이다. 이러한 경우 마스터 글러브의 햅틱 액추에이터가 작동하여 실제로는 사용자 손가락이 로봇 손가락과 동일한 위치에서 더 이상 움직일 수 없게 된다. 이 연구에서는 햅틱 피드백의 크기는 제어하지 않는 on/off 제어를 수행하였다.

Fig. 4

Flow chart for haptic fee dBack

Fig. 5

Fist motion of the robot hand

Fig. 6

Position control result of robot hand

제안된 시스템에서 마스터 글러브를 동작하고 슬레이브 로봇손이 동작하기 사이의 반응 시간은 300 ms로 측정되었다. Table 3에 기존 다른 연구⁽¹²⁾ 에서의 반응 시간들과 결과를 비교하였으며, 제안된 시스템이 다소 느린 반응 시간을 갖는 것을 확인하였다. 이는 이 연구에서 사용된 굽힘 센서와 아두이노 보드의 특성에서 기인된 것으로 판단된다. 사용자가 물체를 파지하는 동작을 수행하면, 로봇 손이 동작을 동기화 하고, 실제 물체를 파지하게 된다. 사용자는 실제 물체를 파지하고 있지 않으므로 손가락 동작을 더 진행하려고 할 수 있으나, 로봇 손가락은 물체를 파지하고 있어 더 이상 움직임을 진행할 수 없으므로, 사용자에게 햅틱 피드백을 제공하여 사용자 손의 동작을 제한하도록 하였다. 실험을 통해 제안된 시스템의 검증을 수행하였고, 이를 Fig. 7에 나타내었다. Fig. 7(a)는 물체를 파지하고 있는 슬레이브 로봇 손의 상태를 나타낸 것이고, Fig. 7(b)는 사용자가 손가락을 완전히 접으려고 하지만, Fig. 7(a)와 같이 로봇 손가락이 물체를 파지하고 있어서 더 이상의 동작이 어려운 상태이다. 사용자는 손가락 동작을 더 진행하고자 하지만, 햅틱 피드백이 작동하여 사용자 손의 동작 또한 제한되고 더 이상 손가락을 접지 못하고 있는 상태이다. 실제 햅틱 피드백의 효과를 확인하기 위하여 Fig. 8과 같이 물체에 압력 센서(force sensing resistor, FSR sensor)를 부착하고 로봇 손을 이용하여 실제로 파지하는 실험을 수행하였고, 햅틱 피드백 유무에 따라 압력 센서에 측정된 값을 Fig. 9(a)와 Fig. 9(b)에 나타내었다. FSR 센서는 힘 또는 압력이 가해지면 저항값이 감소하는 특징이 있으며 이를 이용하여 힘 또는 압력의 크기에 따라 0V에서 5V 사이의 값을 출력한다. 햅틱 피드백이 없는 경우에는 사용자가 물체의 파지 여부를 알 수 없으므로 지속적으로 손가락을 접으려고 하게 되고 마스터 글러브의 위치 목표값은 유지된다. 따라서 로봇 손가락은 목표 위치에 도달하기 위하여 서보 모터에 지속적으로 입력 값을 전달하게 되고, 물체에 부착된 센서는 큰 압력 값을 갖게 된다. 이러한 결과를 Fig. 9(a)에 나타내었다. 그러나, 사용자의 손에 햅틱 피드백이 제공되어 마스터 글러브의 손가락의 위치가 슬레이브 로봇 손가락의 위치와 동일하게 제한되면, 마스터 글로브의 위치 목표값이 슬레이브 로봇 손의 위치와 동일하므로, 로봇 손가락은 더 이상 동작을 수행하지 않으므로 물체에 가해지는 압력 값이 낮아지게 된다. 이러한 결과는 Fig. 9(b)에 나타내었다. Fig. 9(b)의 압력 값은 물체를 파지하기 위한 동작에서 물체에 가해지는 최소 압력 값이며, Fig. 9(a)에 나타난 바와 같이 햅틱 피드백이 제공되지 않으면, 더 큰 압력이 물체에 전달되게 된다.

Table 3

Response time comparison

Fig. 7

Gripping motion of the robot hand

Fig. 8

Pressure sensor located on object surface

Fig. 9

Sensor output according to haptic fee dBack

유연한 물체나 깨지기 쉬운 물체를 파지하는 경우, 햅틱 피드백이 제공되지 않으면 파지동작에서 물체에 전달되는 힘에 의해 물체의 파손이 발생할 수도 있으나, 햅틱 피드백이 제공되는 경우, 안정적으로 유연한 물체를 파지할 수 있을 것으로 기대된다. 제안된 마스터 글러브와 슬레이브 로봇 손을 이용하여 고무로 된 유연한 물체를 파지하는 실험을 수행하고, 제안된 시스템의 효과를 검증하였다. 햅틱 피드백을 제공하지 않고, 유연한 물체를 파지하는 동작을 수행한 사진과 손가락 끝에 부착된 압력 센서에서 측정된 물체에 가해진 압력 값을 Fig. 10(a)와 Fig. 10(b)에 나타내었다. 햅틱 피드백이 제공되지 않으므로 마스터 글러브의 손가락(중지)은 완전히 굽혀질 때까지 동작하게 되고, 로봇 손가락은 지속적으로 물체에 힘을 가하게 되어 물체는 변형되게 되고, 큰 압력 값이 측정되는 것을 확인할 수 있다. 햅틱 피드백을 제공하면서 동일하게 유연한 물체를 파지하는 경우의 사진과 압력 센서 측정값은 Fig. 11(a)와 Fig. 11(b)에 나타내었다. 물체가 파지됨에 따라 마스터 글러브의 손가락은 더 이상 움직이지 못하게 되고, 유연한 물체에 가해지는 압력도 상대적으로 낮게 측정되는 것을 확인할 수 있다. 이러한 결과를 통해 제안된 시스템이 유연한 물체를 안정적으로 파지하는 데 효과적으로 활용될 수 있음을 확인하였다.

Fig. 10

Soft object gripping without haptic fee dBack

Fig. 11

Soft object gripping with haptic fee dBack

4. 결 론

이 연구에서는 햅틱 피드백을 포함하는 마스터 글러브를 제안하고 슬레이브 로봇 손을 제어하는 실험을 통하여 제안된 시스템의 우수성을 검증하였다. 손의 동작을 인식하기 위한 센서와 소형 햅틱 액추에이터를 포함하는 마스터 글러브를 제작하고, 3D 프린터를 이용하여 슬레이브 로봇 손을 제작하였다. 마스터 글러브를 이용하여 사용자 손가락의 위치와 슬레이브 로봇 손가락의 위치를 동기화하고 동일한 동작이 가능함을 확인하였다. 물체를 파지하는 경우와 같이 사용자 손가락의 위치와 로봇 손가락의 위치가 동일하지 않는 경우 햅틱 피드백을 인가하여 사용자 손의 동작을 제한할 수 있음을 확인하였다. 햅틱 피드백을 제공하여 사용자가 유연한 물체를 안정적으로 파지하는 실험을 수행하고 제안된 햅틱 피드백 시스템의 유용성을 확인하였다. 이 연구에서는 햅틱 피드백의 on/off 제어만을 수행하였지만, 추가적인 센서를 적용하여 연속적인 피드백을 제공하기 위한 연구를 다음 단계에서 수행할 예정이다. 또한 다음 연구에서는 효과적인 햅틱 피드백을 위하여 햅틱 액추에이터에 대한 추가적인 연구가 진행될 예정이다.

Acknowledgments

이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. 2023R1A2C1007973). 또한, 이 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성(Grand ICT연구센터) 사업의 연구결과로 수행되었음 (IITP-2023-2020-0-01612).

References

• Kim, H., Kyung, K.-U., Park, J. and Han, D., 2010, The State-of-the-art on Haptic Interface, Korea Institute of Information Technology Magazine, Vol. 8, No. 1, pp. 7~15.
• Kang, B.-H., Yoon, S.-M., Lee, M. C. and Kim, C.-Y., 2012, Development of Low-inertia Master Device for Haptic System Configuration of Surgical Robot, Journal of Korea Robotics Society, Vol. 7, No. 4, pp. 267~275. [https://doi.org/10.7746/jkros.2012.7.4.267]
• Oh, J.-S., Shin, W.-K., Nguyen, P.-B., Uhm, C.-H. and Choi, S.-B., 2013, A Haptic Master-slave Robot System: Experimental Performance Evaluation for Medical Application, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 23, No. 1, pp. 41~48. [https://doi.org/10.5050/KSNVE.2013.23.1.041]
• Choi, Y.-R., Lee, J.-C., Kim, J.-H., Kim, S.-H. and Kwon, O.-S., 2013, Development of Multi Haptic Control Environments for Tele-operating Robot System, Journal of Korea Multimedia Society, Vol. 16, No. 6, pp. 689~699. [https://doi.org/10.9717/kmms.2013.16.6.689]
• Gang, H. G., Choi, S.-B. and Sohn, J. W., 2017, Torque Tracking Control of MR Brake Using a Fuzzy-PID Control Algorithm, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 27, No. 4, pp. 444~450. [https://doi.org/10.5050/KSNVE.2017.27.4.444]
• Yi, J.-B., Jin, S. and Yi S.-J., 2020, Development of a Robotic Surgery System using General Purpose Robotic Arm and Modular Haptic Controller, Journal of Korea Robotics Society, Vol. 15, No. 2, pp. 131~138. [https://doi.org/10.7746/jkros.2020.15.2.131]
• Gang, H. G., Choi, S.-B. and Sohn, J. W., 2019, Experimental Performance Evaluation of a MR Brake-Based Haptic System for Teleoperation, Frontiers in Materials, Vol. 6, 25. [https://doi.org/10.3389/fmats.2019.00025]
• Hwang, Y.-S. and Lee, J.-M., 2011, Development of Haptic Glove for Remote Control, The Transactions of the Korean Institute of Electrical Engineers, Vol. 60, No. 5, pp. 1030~1035. [https://doi.org/10.5370/KIEE.2011.60.5.1030]
• Jung, P.-G., Jang, H. and Cha, Y., 2021, A Soft Actuation System with Origami Pump for Maximizing Haptic Fee dBack, Journal of Korea Robotics Society, Vol. 16, No. 1, pp. 29~34. [https://doi.org/10.7746/jkros.2021.16.1.029]
• Blake, J. and Gurocak, H. B., 2009, Haptic Glove with MR Brakes for Virtual Reality, IEEE/ASME Transactions on Mechatronics, Vol. 14, No. 5, pp. 606~615. [https://doi.org/10.1109/TMECH.2008.2010934]
• Baik, S., Park, S. and Park, J., 2020, Haptic Glove Using Tendon-driven Soft Robotic Mechanism, Frontiers in Bioengineering and Biotechnology, Vol. 8, 541105. [https://doi.org/10.3389/fbioe.2020.541105]
• Sim, D., Baek, Y., Cho, M., Park, S., Sagar, A. S. M. S. and Kim H. S., 2021, Low-latency Haptic Open Glove for Immersive Virtual Reality Interaction, Sensors, Vol. 21, No. 11, 3682. [https://doi.org/10.3390/s21113682]
• Shim, J. Y., 2023, Intuitive Robot Hand Control Using Haptic Glove, M.S. Thesis, Kumoh National Institute of Technology, Gumi.