진동을 복원하기 위해 가장 기본적으로 2D FFT (2D fast Fourier transform)를 사용한다. 2D FFT는 디지털 영상 처리에서 널리 사용되는 방법으로, 일반적인 푸리에 변환과 유사하게 2차원 공간에 있는 이미지를 주파수 도메인으로 신호를 변환하는 과정을 거친다. 이를 통해 각 픽셀의 변화량을 분석할 수 있고, 주파수 성분으로 이미지의 특성을 나타낼 수 있다. 즉, 주파수 도메인에서 나타난 이미지는 일종의 패턴을 표현하는 수단이 될 수 있다. 예를 들어 Fig. 1의 왼쪽 사진에 2D FFT의 결과는 오른쪽 두 개의 사진과 같이 주파수 성분의 진폭과 위상으로 나타낸다. 진폭은 주파수의 강도를 의미하며, 위상은 이미지에서 주파수 성분의 위치나 패턴을 나타낸다. 이러한 주파수 도메인을 이용한 분석은 이미지의 주파수 구성 요소를 분석하여 더 많은 정보를 얻을 수 있다.

Fig. 1 
2D FFT example

2D FFT의 또 다른 특징은, 변환된 이미지에서 중심에 가까울수록 저주파 성분을 갖게 된다는 것이다. 표준 테스트 이미지인 barbara 이미지를 통해 확인한다면 다음과 같다. 가장자리의 고주파 성분을 제거해 2D IFFT(2D inverse Fast fourier transform)를 하면 Fig. 2(a)와 같은 저주파 성분의 이미지만 남게 된다. 그 반대인 저주파 성분을 제거한 경우에는 Fig. 2(b)와 같이 줄무늬만 남게 된다.

Fig. 2 
2D FFT image filtering example

위 방법을 통해 이미지 내부에 존재하는 다른 정보들을 활용하는 것은, 이미지의 변화를 다양하게 추출하고 이로 인해 미세한 진동까지도 측정할 수 있도록 한다. 이 연구는 움직이는 물체에서 발생한 반사된 일정 패턴의 이미지를 2D FFT로 변환하고 진폭과 위상을 이용하여 정보를 추출하여 진동을 복원하고자 한다.

Steerable 필터는 방향성을 지니는 wavelet 함수의 선형 조합으로 이루어지며, 영상 처리에서 특징을 원하는 방향 성분으로 분해할 수 있으며, 이미지 향상과 특징 추출에 사용된다. 이미지 pyramid는 영상 처리에서 영상을 다층으로 서브샘플링하여 공간 스케일에 무관하게 특징을 추출하기 위해 널리 사용된다. 최근에 많은 연구들은 이 둘을 조합한 steerable pyramid를 통하여 2D 영상에서 방향성과 스케일에 무관하게 특징을 찾아내고 이를 활용하여 진동 신호를 추출하는 데 사용된다⁽²⁰⁾.

Steerable pyramid를 이용한 기존 연구 사례에서는 초고속 카메라를 이용해 음압에 의한 진동을 촬영한 뒤 음원을 복원하는 연구를 진행하였다⁽²¹⁾. 기존의 연구에서 음원 복원을 하는 방법은 다음과 같다. 이미지에 2D FFT를 적용하고, 이미지의 위상과 진폭을 분리하였다. 분리한 이미지의 방향을 구분하는 일종의 필터를 적용해 다단계의 피라미드를 구성하여 정보를 추출한다. 그리고 분리한 방향으로의 정보들을 모두 합쳐 진동을 복원한다. 즉, 이미지 내에서 갖는 특성을 2D FFT와 2D IFFT를 이용하여 추출하고 조작하여 해당 이미지에서의 고유한 정보를 측정할 수 있다.

이 연구에서는 steerable 필터가 방향성을 추출할 수 있다는 점에 착안하였다. 기존의 연구⁽²¹⁾에서는 영상에서 진동의 특징을 찾고 이 변화를 확대하기 위해 Fig. 3과 같이 방향별 wavelet 함수를 선형 조합하여 이미지에 적용하였다. 방향 1은 이미지의 가로 방향(x축)의 성분을 추출하는 필터로 사용되고, orientation이 증가함에 따라 시계방향으로 추출하는 성분의 방향이 변하는 것이다. 방향 7은 이미지의 세로방향(y축)의 성분을 의미한다. 이 연구에서는 이를 Fig. 3의 방향 1과 방향 7번만 별도로 처리하여 x, y 방향의 진동을 구분하여 얻을 수 있었다.

Fig. 3 
Steerable pyramid filter

기존의 진동하는 대상을 직접 촬영해서 복원하는 방식은 카메라와 렌즈의 WD(working distance)에 영향을 받는다. 렌즈의 설정에 따라 Fig. 4(a)와 같은 가까운 이미지에서는 가진기 위 대상의 진폭이 상대적으로 크게 나타나지만, Fig. 4(b)와 같이 거리가 멀 경우에는 진폭이 작게 나타나기 때문에 진동 복원의 어려움이 있다. 매크로 렌즈를 통해 확대하는 경우에도 미소 진동의 경우 영상 픽셀의 변화가 작은 경우가 많으므로 미소 진동의 경우 관찰하기가 어렵다.

Fig. 4 
Steerable pyramid with speckle pattern

또한 초고속 카메라로 촬영할 시 짧은 노출 시간으로 인하여 광량이 큰 광원이 필요하고, 이를 냉각하기 위한 팬의 동작으로 소음과 진동이 발생한다. 이 연구에서는 이러한 한계를 보완하기 위해 작은 진폭을 확대할 수 있고, 분석하고자 하는 방향으로의 진동을 쉽게 파악할 수 있도록 스페클 패턴(speckle pattern)을 사용하기로 하였다. 즉, 기존 연구에서 제시된 steerable pyramid 방식에 스페클 패턴을 추가로 활용해 각 방향별로 미소 진폭을 측정해 복원하는 세분화된 연구를 진행하였다.

스페클 패턴(speckle pattern)은 레이저 포인터의 광원이 물체의 표면 거칠기에 의해 반사되고 산란하면서 형성되는 광학 현상을 의미한다. 이는 레이저가 불규칙한 물체 표면에 닿게 되면, 간섭 현상으로 인하여 일부는 밝고 일부는 어두운 일종의 패턴 형식으로 나타난다. Fig. 5(a)와 같이 스페클 패턴은 무작위한 점들의 패턴으로 이루어져 있다. 스페클 패턴은 입사광에 대한 중요한 정보를 포함한다. 따라서 이러한 스페클 패턴이 투영된 물체를 촬영해서 해당 물체의 진동을 측정할 수 있다.

Fig. 5 
Speckle pattern

스페클 패턴은 촬영하는 초점 상태에 따라 다르게 관찰할 수 있다. 초고속 카메라 렌즈의 초점을 물체에 맞추면, Fig. 5(b)와 같이 일반적으로 우리가 보는 레이저 포인터의 형상과 비슷하게 나타난다. 그러나 렌즈의 초점이 레이저 포인터에 맞춰지지 않는 경우, Fig. 5(a)와 같이 보이도록 확대할 수 있다. 이러한 특징을 활용하여 아주 작은 변위를 갖는 진동의 움직임을 알고리즘상으로 관찰하여 진동을 측정하는 것이 가능하다. 이 연구에서는 스페클 패턴의 특징을 최대한 활용하기 위해 렌즈의 초점을 의도적으로 디포커싱(defocusing)하여 스페클 패턴을 확대하여 촬영하였다.

스페클 패턴의 특징을 추출하고 촬영하기 위해 Fig. 6과 같은 장비를 구축하였다. 관심 영역(region of interest, ROI) 설정을 통해 약 2000 fps 이상의 이미지 촬영 속도를 지원하는 초고속 카메라 MV-XG51 (Mindvision사, 중국)를 이용해 레이저 포인터를 촬영하였다. 레이저는 4.5 mW, 532 nm 파장을 갖는 녹색 레이저(CPS532, Thorlabs사, 미국)를 사용하였다. 빔 스플리터(PBSW-532R, Thorlabs사, 미국)를 사용하여 레이저를 물체 방향으로 투사하고, 물체에서 스페클 패턴이 생성되고 반사된 빛이 초고속 카메라를 통해 들어와 스페클 패턴이 촬영되도록 하였다. 스페클 패턴의 디포커싱을 위해 초점 거리가 8 mm인 렌즈(M0814-MP2, Computar사, 일본)를 사용했다.

Fig. 6 
System description

이 연구에서 제안한 영상 획득의 과정부터 진동을 추출하는 방법은 다음과 같다. 구축한 측정 장비로 측정 대상 표면에서 반사되는 스페클 패턴의 영상을 얻고, 이를 이미지 여러 개로 나눈 후 steerable pyramid에 적용하였다. 복원하고자 하는 방향으로 필터를 설정해서 각 방향마다의 이미지의 진폭과 위상을 구한다. 위 과정을 통해 이미지에서 발생한 진폭과 위상을 식 (1)의 계산을 통해 진동을 복원한다⁽²¹⁾.

x축, y축으로 구분하여 steerable pyramid를 이용해 복원하는 과정은 Fig. 7과 같다.

Fig. 7 
Steerable pyramid with speckle pattern

여기서 A는 이미지에서 분리한 진폭, P는 이미지에서 분리한 위상이다. 이미지의 모든 수평, 수직 방향 x,y에 대해 필터의 방향 θ와 이미지 스케일 값 r을 통해 복원된 이미지 S를 생성한다.

가진기 위 볼트에서 형성된 스페클 패턴으로 측정한 진동을 검증하기 위해 Piezo 가속도계(Model 356A15, PCB Piezotronics사, 미국)를 사용하였다. 1000 Hz 이하의 주파수를 가진기에 입력하고 가속도계에서 측정한 주파수와 스페클 패턴으로 측정한 주파수를 비교함으로써 이 연구에서 제안한 방법의 정확성과 유효성을 검증하고자 하였다.

131 Hz를 가진기에 입력하고 가속도계와 스페클 패턴으로 진동을 복원해 FFT(fast fourier transform)를 그래프로 나타낸 결과는 Fig. 10과 같다. Fig. 10(a)는 스페클 패턴을 촬영한 영상을 복원 과정을 거쳐 130.9 Hz가 검출되었고, Fig. 10(b)는 가속도계로 측정한 가진기의 진동을 복원해 131 Hz로 검출된 것을 볼 수 있다. Table 1은 여러 단일 주파수 검출 성능을 확인하기 위해 131 Hz, 242 Hz, 353 Hz, 464 Hz, 575 Hz, 686 Hz, 797 Hz를 입력한 뒤, 각 주파수를 가속도계와 스페클 패턴으로 측정하고 FFT를 통해 측정한 주파수의 결과이다.

Fig. 10 
FFT result using steerable pyramid and accelerometer at 131 Hz

스페클 패턴을 이용해 측정한 결과와 가속도계를 이용해 측정한 결과를 비교하면 최대 0.0826 %의 오차율을 갖는다. 그리고 각 Hz에서 측정한 결과에서 볼 수 있듯이 측정 가능한 최대 주파수 부근에서도 1 Hz 이내의 측정 정밀도를 가진다. 이를 통해 카메라를 이용한 진동 측정방식의 정확성, 정밀성 그리고 유효성을 검증하였다.

Steerable pyramid에서 분리한 x축, y축의 진동을 검증하기 위해 가속도계와 비교하는 실험을 진행하였다. Fig. 11과 같이 촬영된 스페클 패턴의 가로축을 x축으로 하고, 세로축을 y축이라고 지정했다. 가속도계의 x축을 이미지의 x축과 일치시키고, 가속도계의 z축을 이미지의 y축과 일치하도록 가속도계를 가진기에 부착한 뒤, 가진기 입력의 진폭을 바꾸어 가면서 진폭을 측정하였다.

Fig. 11 
Axis of the image

Fig. 12(a)는 스페클 패턴을 이용한 결과로 파란색 선이 y축, 붉은색 선이 x축으로의 픽셀 변위 값을 나타낸다. Fig. 12(b)는 가속도계를 이용한 결과로 파란색 선은 z축, 붉은색 선은 x축으로의 가속도 값을 나타낸다. 가진기에서 y축 방향으로 진동하지만, x축 방향으로도 진동이 발생하는 것을 가속도계에서도 확인할 수 있고, 가속도계와 steerable pyramid에 의한 그래프는 비슷한 형상을 나타내는 것을 확인할 수 있다. 이를 통해 분리하고자 하는 각 방향으로의 진동 복원이 가능함을 알 수 있다.

Fig. 12 
Axis-separated measurement results

단일 주파수 복원에 대한 검증 후에 스페클 패턴사용 유무에 따른 성능을 확인해보고자 비교 실험을 진행하였다. 스페클 패턴을 사용하지 않고 초고속 카메라만을 이용하는 방법은 동일한 카메라에 매크로 렌즈(MLH-10X, Computar사, 일본)를 이용해 대상을 확대하였다. 또 카메라의 노출 시간이 짧은 특성상 500 W급 할로겐 조명을 이용해 진동하는 물체의 실사 이미지를 촬영할 수 있도록 하였다. 초고속 카메라만을 사용하는 실험환경은 Fig. 13과 같다. Fig. 14는 스페클 패턴을 사용하지 않고 초고속 카메라로 촬영한 가진기 상단에 체결된 볼트의 모습이다. 동일한 환경에서 가진기의 진폭을 조절해 진폭이 큰 경우와 작은 경우를 각각 촬영해 진동을 측정하고, 비교하였다.

Fig. 13 
Experimental environment without speckle pattern

Fig. 14 
Captured image with macro lens

실험에서 가진기의 입력으로 드라마 ‘오징어 게임’의 OST인 ‘way back then’을 재생하였다. 해당 신호는 700 Hz 이하로 구성되어 있어 실험에서 사용하는 초고속 카메라로 모두 측정이 가능하였다. Fig. 15는 입력 음원을 short time fourier transform(STFT)로 나타낸 것이다. 그래프를 통해 입력 신호가 약 500 Hz 대역에서 특정 음들이 반복되는 패턴임을 알 수 있다.

Fig. 15 
STFT result of the input signal

동일한 음원을 재생하면서 증폭비를 조절하여, Fig. 16은 최대 1.3 g의 상대적으로 높은 진폭을 갖는 진동을 촬영한 영상을 분석한 결과이고, Fig. 17은 최대 0.3 g의 상대적으로 낮은 진폭을 갖는 진동을 촬영한 영상을 분석한 결과이다. 이때 1.3 g, 0.3 g은 가속도계로 측정한 값이다. 높은 진폭과 낮은 진폭 결과 모두 Fig. 17(a)는 스페클 패턴을 이용해서 촬영된 영상의 진동을 복원한 결과이고, Fig. 17(b)는 레이저를 사용하지 않고 초고속 카메라만을 이용하여 실사를 촬영한 영상의 진동을 복원한 결과이다. 높은 진폭을 측정한 결과인 Fig. 16에서는 스페클 패턴의 사용 여부와 관계없이 입력과 유사한 주파수 성분이 측정된 것을 볼 수 있다. 하지만 낮은 진폭을 갖는 진동을 촬영한 결과인 Fig. 17에서는 스페클 패턴을 사용한 결과에서만 주파수 성분이 나타나며, 실사 촬영에서는 노이즈만 나타나는 것을 볼 수 있다.

Fig. 16 
Measurements of vibrations with high amplitude

Fig. 17 
Measurements of vibrations with low amplitude

이를 통해 스페클 패턴을 이용하면 미소 변위의 진동을 측정함에 있어서는 스페클 패턴을 이용하지 않는 방식에 비해 상대적으로 유리하다는 것을 입증할 수 있었다.