햅틱 초음파 프로브의 균일한 촉각 진동 렌더링

2.1 FRF를 활용한 촉각 진동 렌더링

촉각 진동 렌더링 방법으로는 액추에이터와 촉각을 제공하고자 하는 표면의 진동 응답에 대한 주파수 응답 함수(frequency response function, FRF)를 활용하는 방법이 있다^(3~5).

촉각을 제공하고자 하는 표면을 일정한 크기의 가상 격자로 나누어 터치 위치를 구분하였을 때, 액추에이터의 인가 전압과 표면의 터치 위치에서의 진동 응답에 대한 주파수 응답 함수를 활용하여 액추에이터 구동으로 인한 해당 표면의 진동 가속도를 계산할 수 있다. 이를 통해 개별 터치 지점에서의 가속도 응답 a는 액추에이터에 의한 주파수 응답 함수 H와 구동 신호 v의 곱으로 계산할 수 있으며 식 (1), 식 (2)와 같다.

여기서 a는 (N_rx1)행렬이고, v는 (N_ax1)행렬이다. 식 (2)에서 H가 정방행렬이 아니라면 H의 유사 역행렬(Pseudo Inverse Matrix) H⁺를 통해 개별 터치 위치에 원하는 가속도 응답 a를 제공해 주기 위한 구동 신호 v를 계산할 수 있으며 식 (3)과 같다.

식 (3)을 통해, 개별 터치 지점에서 원하는 촉각 진동 렌더링을 구현할 수 있으며, 액추에이터 구동신호에 대한 해가 존재하기 위해서는 촉각 진동 렌더링의 개수(N_r)는 액추에이터의 개수(N_a)보다 적거나 같게 설정되어야 한다(N_r ≤ N_a).

2.2 특정 면의 촉각 진동 렌더링 최적화

이 연구에서는 특정 터치 위치에 대해서만 촉각 진동을 렌더링하는 것이 아니라, 특정 면 전체를 제어해야 했기 때문에 더 많은 위치를 동시에 제어할 필요성이 있다.

Fig. 2는 표면(surface) 위에 터치 위치(touch positions)을 등간격으로 24개(1 ~ 24)로 나누고, 8개의 액추에이터(actuators)를 배치하여, 여러 개별 지점에서 원하는 가속도 응답을 만들어내기 위한 액추에이터를 렌더링 하는 방법을 표현하였다. 식 (3)을 통해 특정(9, 10) 위치에 사인 주파수 신호(sine wave signal)로 촉각 진동을 렌더링 할 수 있다.

Fig. 2

Vibrotactile rendering at multiple individual points

식 (3)을 통해 액추에이터 개수 이하의 여러 개별 지점의 촉각 진동 렌더링을 구현할 수 있지만, 제한된 액추에이터 개수보다 촉각 진동 렌더링의 위치가 많아지게 되면 overdetermined 문제가 발생하게 된다. 이에 따라 여러 개별 지점에 대해 촉각 진동 렌더링을 정확히 구현하기가 어려워지며, 유사 역행렬 방법을 통해 전체 표면의 진동을 구현하는 것에는 한계가 있다. 따라서 이 연구에서는 액추에이터의 구동 신호를 변수로 하며, Fig. 3의 프로브의 그립 표면의 가속도 응답을 제약 조건으로 하고, 진단 표면의 가속도 응답을 목적함수로 하는 최적화 문제를 정의하였고 식 (4) ~ 식 (6)과 같다.

Fig. 3

Linear ultrasound probe

여기서 a_C는 프로브 그립 표면의 가속도 응답이고, a_D는 프로브 진단 표면의 가속도 응답이다. a_target은 프로브 그립 표면에 생성하고자 하는 타겟 진동 가속도의 크기이고, a_th는 프로브 진단 표면에서의 진동 가속도의 역치 크기이다. v_th는 액추에이터의 인가 전압에 대한 역치로 액추에이터의 구동 성능에 대한 선형성이 확보되는 역치의 크기이다. 최적화 문제에서 액추에이터 구동 신호의 초기값은 v_th 이내에서 무작위로 설정하였다. 최적화 문제의 해결을 통해, 진단 표면에서는 a_th 이하의 진동이 생성되면서 그립 표면에서는 a_target의 진동이 균일하게 생성되는 액추에이터 구동 신호를 구할 수 있다. 최적화 문제는 선형 제약 조건이 있는 overdetermined 최적화 문제를 해결하는데 주로 사용되는 interior-point 알고리즘을 통해 해결하였다.

초음파 검사 시에는 일반적으로 몸의 여러 부위를 측정할 수 있지만, 주로 상체 전면부(upper body anterior)인 목, 가슴, 상복부, 하복부 등과 접촉되어 사용된다. 그중 한 예로 복부(abdomen)에 대한 진동 인지 역치(vibration perception threshold, VPT)는 200 Hz 주파수일 때, 0.05 G ~ 0.355 G이다⁽⁶⁾. 보통 몸의 VPT는 100 Hz 이하에 대해서 더 예민하고, 촉각 진동 렌더링에서 사용하고자 하는 주파수 범위인 100 Hz ~ 500 Hz에서는 덜 예민하다⁽⁷⁾. 그래서 초음파 프로브의 진단 표면에 대한 진동 최소화 기준을 복부의 VPT 평균값인 0.2 G(a_th)로 선정하였다. 또한, 임상의와 접촉하는 부분인 핸들 부분에는 임상의의 손가락 끝(fingertip)과 엄지 두덩(thenar eminence)이 접촉되고, 촉각 진동 렌더링이 잘 느껴지도록 주파수 범위 100 Hz ~ 500 Hz 및 1.5 G(a_target) 기준(1 G ~ 2 G, 오차 범위 0.5 G)으로 선정하였다⁽⁸⁾.

초음파 검사 환경에서는 일회용(수술용) 장갑 착용이 일반적이며, 장갑을 착용한 상태에서도 VPT 값에는 차이가 없다는 사실을 고려하여⁽⁹⁾, 선정한 가속도 크기의 범위로 기준을 설정하였다.

3.1 모델링 및 제어 포인트 선정

Fig. 4와 같이 프로브의 크기와 유사한 형태로, 피에조 액추에이터를 부착하기 위한 제어 면이 평탄한 단순한 프로브 형상으로 모델을 구축하였다.

Fig. 4

Ultrasound probe modeling

제어 포인트 선정에서는 진단 표면과 그립 표면을 대표할 수 있도록 Fig. 5와 같이 면을 가상 격자로 나누어 설정하였다. 5 mm 간격으로 진단 표면에는 5개의 포인트를, 그립 표면에는 40개의 포인트를 선정하였다. 각 면의 수직 방향 진동에 대해 인체가 가장 민감하게 인지하므로⁽¹⁰⁾, 진단 표면의 5개 포인트는 Z축 방향의 진동을 최소화되도록 하였고, 그립 표면에는 X축과 Y축 방향으로 각각 10개와 30개의 포인트를 촉각 진동 렌더링이 균일하게 이루어지도록 하였다.

Fig. 5

Selection of control points

3.2 실험을 위한 목업(Mock-up) 제작

실험 검증을 위해 Fig. 6과 같이 fused filament fabrication(FFF) 방식의 3D 프린터(Sindoh, 3DWOX 1)를 사용하여 프로브 커버를 제작하였다. 임상의 그립 표면에 촉각 진동을 렌더링하기 위해, 각 면의 내부에 피에조 액추에이터 2개씩 총 8개를 부착하였고, 액추에이터의 저주파 진동력을 향상시키기 위해 추가 질량을 부착하였다. Table 1은 햅틱 초음파 프로브 목업의 구성품 정보를 나타내었다.

Fig. 6

Experimental mock-up

Table 1

Components of haptic ultrasound probe

3.3 실험 방법

프로브 표면의 제어 포인트에서 주파수 응답 함수를 측정하기 위해 laser doppler vibrometer(LDV)를 사용하였다. 측정 시에는 프로브를 안정적으로 고정하기 위해 알루미늄 지그를 제작하였다. 이 지그는 A6061 T6으로 제작되었으며, 크기는 150 mm × 120 mm × 80 mm, 두께는 15 mm이다. 또한, 지그가 촉각 진동 렌더링 주파수 범위인 100 Hz ~ 500 Hz에 영향을 미치지 않도록, 1차 모드의 고유 주파수가 2000 Hz 이상이 되도록 단단하게 설계하였다.

프로브의 고정 방법으로는, 선정한 제어 포인트를 모두 정확하게 측정할 수 있도록 프로브의 하단인 케이블 부분을 이용하여 고정하였다.

전체적인 실험 절차는 아래와 같다.

(1) Fig. 7과 같이 액추에이터 구동 신호와 프로브 제어 포인트의 진동 반응 사이의 FRF는 LDV(Polytec, PSV-400)를 사용하여 측정했다.

Fig. 7

FRFs measurement using LDV

(2) 측정된 FRF를 기반으로 제안된 방법과 최적화를 통해 액추에이터별 인가 전압을 계산하였다.

(3) 계산된 구동 신호를 바탕으로 DAQ(NI, cDAQ- 9174) 장비 및 LabVIEW 2019를 이용하여 촉각 진동 렌더링 실험을 수행하였다.

(4) 프로브의 각 표면에서 발생하는 가속도는 LDV를 통해 측정하였다.

3차원인 프로브의 X축, Y축, Z축의 제어 포인트를 측정하기 위해서 Fig. 8과 같이 위치별(front, top, bottom, left, right)로 지그를 이동하면서 LDV로 제어 포인트를 측정하였다. 이 과정에서 각 액추에이터와 제어 포인트 위치 사이에서 총 360개의 FRF(45 × 8)가 측정되었다. 예를 들어, Fig. 9는 8개의 액추에이터와 top 부분의 정 가운데 위치인 Pos. 13 및 right 부분의 정 가운데 위치인 Pos. 43에서의 진동 응답을 나타냈다.

Fig. 8

Measurement posture by position

Fig. 9

Measured FRFs between each actuator and vibration response at Pos. 13, Pos. 43

3.4 실험 결과

촉각 진동 렌더링 주파수는 측정한 주파수 응답 함수(FRF)를 기반으로 선정되었다. 이 주파수는 햅틱 피드백을 제공하고자 하는 4개의 주요 면이 고르게 진동할 수 있는 주파수이다. 최적화 기법을 적용한 실험의 결과는 Fig. 10에 나타나 있다.

Fig. 10

Optimization

실험 결과에 따르면, 진단 표면인 front(Pos. 1 ~ Pos. 5) 부분에서는 진동 크기가 0.2 G 이하로 유지되었으며, 임상의가 잡는 부위인 top, bottom, left, right (Pos. 6 ~ Pos. 45) 부분에서는 대부분의 제어 포인트에서 1 G ~ 2 G의 진동을 충족하여 1.5 G 기준을 만족함을 확인할 수 있었다. 이는 최적화 기법이 각 면의 진동을 효과적으로 제어할 수 있음을 확인하였다.

제시한 최적화 기법의 효용성을 확인하기 위해, 각 액추에이터에 최대 전압인 10 V를 동일한 위상으로 인가한 결과는 Fig. 11에 나타나 있다. 실험 결과, 진단 표면에서는 진동이 0.2 G 이하로 유지되어 목표를 충족했으나, 임상의가 그립하는 표면에서는 대부분의 포인트에서 가속도 크기가 1 G 이하로 측정되었고, 특히 측면(left, right)에서는 0.5 G 이하로 더욱 낮게 나타났다. 진단 표면에서는 진단 표면의 진동 가속도 역치 크기(a_th)는 만족했기 때문에, 식 (7)을 통해 임상의가 그립하는 표면에 대해서 최적화 기법이 적용될 때의 균일성을 평가하였다.

Fig. 11

Non-optimization

여기서 e_i는 목표 진동 가속도 크기(a_target)와의 오차이고, i는 임상의가 그립하는 top, bottom, left, right (Pos. 6 ~ Pos. 45) 위치이다.

Fig. 12는 Pos. 6 ~ Pos. 45에서의 목표 진동 가속도 크기와의 오차를 그래프로 나타내었다. 그 결과, 동일한 최대 전압을 적용했을 때도 최적화 기법을 적용한 경우가 더 효과적으로 진동을 제어할 수 있음을 확인하였다.

Fig. 12

Error(ei) from target acceleration