마커 및 필터 설계를 통한 다양한 조도 조건에서의 영상 위상기반 2차원 변위 측정 기법
© The Korean Society for Noise and Vibration Engineering
Abstract
The advanced displacement measurement technique using computer vision has shown several advantages, such as a high spatial resolution and no mass loading effect, compared to the conventional contact-sensing techniques. However, the accuracy and robustness of vision-based techniques are subjected to various illumination conditions, including uneven illumination and insufficient lighting. This study introduced an accurate displacement measurement technique, with high robustness with respect to the illumination changes, that used two complex Gabor filters and a specially designed marker with orthogonal features. The parameters of the two complex Gabor filters, including the center frequency, bandwidth, and direction, were selected based on the marker size and attitude to extract the accurate phase motion information on two directions with dense features. The noise caused by insufficient light and/or uneven illumination could also be reduced by emphasizing the orthogonal features using the proper filter parameters. Further, motion phase-based optical flow was applied to calculate the 2D displacement signal of the marker. The excellent performance of displacement measurement was confirmed by comparing to that by a laser doppler vibrometer(LDV) under various lighting conditions. Tracking of multiple markers on a plate was performed to demonstrate the capability of measuring the out-plane motion using the proposed technique.
Keywords:
Gabor Filter, Phase-based Optical Flow, Displacement Measurement, Artificial Marker키워드:
Gabor 필터, 위상기반 Optical Flow, 변위 측정, 마커1. 서 론
카메라 시스템기반의 거동 측정 기법은 많은 수의 물리적 부착 센서를 설치하는 대신 카메라를 사용하여 구조물의 비디오 영상을 획득함으로써 질량 부하 효과 없이 비접촉식 고해상도 측정이 가능하며 유지비용을 크게 줄일 수 있어 다양한 분야에서 새로운 측정 방식으로 각광받고 있다(1,2).
카메라 기반 거동 측정 기법은 추적 방식에 따라 일반적으로 템플릿 매칭, 특징점 추적, 모양 기반 추적, 광학 흐름 추정의 범주로 나눌 수 있다(3).
템플릿 매칭 기법은 프레임 간의 상관 행렬을 계산하여 템플릿의 움직임을 측정한다(4). 특징점 추적 기법은 템플릿 내 여러 특징점을 활용하여 추적한다(5,6). 이러한 기법들의 정확도는 복잡한 배경과 조명으로 인한 이미지 밝기 변화에 크게 영향을 받는다. 고대비 패턴 및 마커는 많은 연구에서 카메라 기반 측정 기법의 정확도와 강건성을 개선하기 위해 사용되었다. 디지털 이미지 상관법(digital image correlation; DIC)은 발전된 템플릿 추적 기술로, 표면의 고대비 반점 패턴을 사용하여 구조물 전체의 거동을 측정한다(7). 또한 모양 기반 추적 기법에서는 추적 방법에 따라 스팟(8), 격자(6), 수직선(9) 등 다양한 형태의 패턴이 사용된다. 패턴 및 마커의 사용으로 배경의 영향을 줄일 수 있지만 여전히 균일하지 않은 조명 조건 및 저조도 조건은 카메라 기반 거동 측정 기법의 정확도에 영향을 미칠 수 있다.
위상 기반 모션 추정 기법은 이미지 강도 기반 기법에 비해 조명 변화에 강건하다. 위상은 일반적으로 steerable 필터 또는 Gabor 필터를 적용하여 생성할 수 있다. Gautama 등은(10) Gabor 필터 뱅크를 사용하여 픽셀 속도 추정 기법인 위상 기반 optical flow(phase-based optical flow; POF)기법을 개발하였다. 11개의 Gabor 필터는 각각 다른 공간 주파수 대역과 방향을 갖고 국소 위상 영역을 생성한다. Gabor 필터는 steerable 필터에 비해 공간 주파수 중심점, 폭, 방향 등 필터 파라미터의 유연한 설계가 가능하다는 장점이 있다(11). POF 기반 변위 신호 측정 기법은 모드 해석 및 결함탐지에 적용할 수 있지만, 불균일한 조명 조건, 복잡한 배경 등의 위상 속도를 안정적으로 추정할 수 없는 비선형 위상 영역에서 측정 오류가 발생할 수 있다(10).
이 연구에서는 마커와 최적 설계된 Gabor 필터를 적용한 POF 기법을 기반으로 불균일한 조명 조건 및 저조도 환경에서도 정확한 변위 측정 기법을 제안한다. 마커는 교차 선의 형태로 구성되어 제안 기법의 정확도 개선 효과와 동시에 x, y 2차원 변위 측정이 가능하다. 기법 검증을 위해 빔 형태의 구조물에서 LDV 및 카메라를 통해 변위 측정 실험을 수행하였으며 실험 결과, 이 연구에서 제안하는 기법을 통해 불균일한 조명 조건 및 저조도 환경에서도 높은 정확도로 서브-픽셀 단위의 미소 변위 측정이 가능함을 확인하였다.
2. 마커 영상 위상 기반 구조물 변위 측정 기법
2.1 Gabor 필터 및 영상 위상
대상의 국소 거동은 Gabor 필터를 이용하여 대상 이미지를 필터링함으로써 획득한 국소 위상에서 측정할 수 있다. 공간 영역상 Gabor 필터는 2차원 sine 파와 Gaussian envelope로 구성된다(식 (1)).
여기서 (u0, v0)는 중심 공간 주파수, (σa, σr)는 각각 2D Gaussian envelope의 각도 방향과 반지름 방향 표준편차, K는 Gaussian envelope의 크기 상수이다. Gabor 필터의 방향 α는 식 (2)와 같이 계산할 수 있다.
(1) |
(2) |
이미지 I를 Gabor 필터 G와 컨볼루션 연산한 결과에서(식 (3)), 위상ϕ를 도출할 수 있다(식 (4)).
(3) |
(4) |
Fig. 1은 α = 0°, 135° Gabor 필터를 이용하여 서로 다른 각도의 두 개의 직선을 포함하는 이미지를 필터링하는 과정을 보여준다. 0°의 Gabor 필터를 이용하였을 때, 기울어진 직선의 형태는 약화되고 수직선의 형태 및 위상 정보만이 도드라지게 나타남을 확인할 수 있다. 또한, 135°의 Gabor 필터를 이용할 경우, 기울어진 직선의 형태 및 위상 정보만이 도드라지게 나타남을 확인할 수 있다. 이로부터 방향 α의 Gabor 필터는 필터 방향에 수직하는 성분의 선형 위상 정보를 생성함을 알 수 있다. 따라서 이 연구에서는 두 개의 Gabor 필터를 이용하여 2차원 변위를 측정하였다.
공간 영역상의 컨볼루션 연산은 공간 주파수 영역상 곱연산과 같으므로, 이 연구에서는 보다 정확한 결과를 위해 공간 주파수 영역상 필터링을 수행하였다. 공간 주파수 영역상 Gabor 필터는 식 (5)와 같다.
(5) |
여기서 (σaf, σrf)는 공간 주파수 영역에서의 각도 및 반지름 방향 표준 편차이며, 식 (1)에서 공간 영역상 Gaussian envelope와의 관계는 식 (6)과 같다.
(6) |
식 (1)과 식 (5)에서의 필터 파라미터의 최적화를 통해 POF 기법의 성능을 향상시킬 수 있다(12). 이 연구에서는 마커를 디자인하고, 해당 마커에 최적화된 Gabor 필터를 설계함으로써 높은 정확도와 강건성으로 변위 신호를 측정하였다.
2.2 마커 및 필터 파라미터 설정
이 연구에서는 두 개의 수직선으로 구성된 고대비 마커를 사용하였다. 두 선은 중앙에서 교차하고, 각 선의 두께는 전체 마커 크기의 8분의 1에 해당한다 (Fig. 2). Gabor 필터의 방향은 영상에 촬영된 마커 내 두 개의 선에 각각 수직인 방향으로 설정한다.
Fig. 3에서 상단의 α = 0°인 Gabor 필터의 파라미터는 다음과 같다: u0 = 0.1667, v0 = 0, σa = σr = 4.65, σaf = σrf = 0.0342. 하단의 α = 90°인 Gabor 필터의 파라미터는 다음과 같다: u0 = 0, v0 = 0.1667, σa = σr = 4.65, σaf = σrf = 0.0342.
영상 모든 프레임의 마커 영역에 대해 두 개의 Gabor 필터를 이용하여 필터링한 후, 식 (4)에 따라 위상 영역을 도출하면 두 개의 위상 영역 영상, φ(x, y, t)를 얻을 수 있다. 각 위상 영역 영상은 거동 정보를 포함하고 있다. Phase-based optical flow(POF) 기법은 프레임 t에 따른 위상 윤곽을 추적한다).
(7) |
식 (7)에서 c는 상수이며, 미분 후 특정 방향의 속도(vc, component velocity)는 전체 속도를 위상 그래디언트의 방향으로 사영하여 구할 수 있다(식 (8)).
(8) |
여기서 (vx, vy)는 x, y 방향에 대한 속도 (full velocity), (φx, φy)는 x, y 방향에 대한 위상 그래디언트(phase gradient), θ는 위상 그래디언트와 속도 사이의 각도이며 φt는 기준 프레임과 현재 프레임 간의 위상 차를 나타낸다. 는 위상 그래디언트 방향의 정규화 벡터이다(10).
변위는 속도에 두 프레임 간의 샘플링 간격을 곱하여 추정하였고(13)(식 (9)), 이후 2차원 변위로 변환하였다.
(9) |
이 연구에서는 보다 안정적인 위상 영역을 생성하기 위해 Gabor 필터를 최적화하였다. 주요 파라미터 설정은 다음과 같다. 중심 공간 주파수의 크기는 식 (10)과 같이 공간 영역상 Gabor 필터 내 sine 함수의 주기와 같게 설정하며 필터 응답이 최대값이 되도록 설정하였다.
(10) |
Gaussian envelope의 표준편차인 (σa, σr)과 (σaf, σrf)는 식 (11)과 같이 필터의 공간 영역상 약 95 %, (4σa, 4σf)가 전체 마커(8wp)를 포함하도록 하였다.
(11) |
Fig. 4는 Fig. 3과 동일한 이미지를 대상으로 최적화된 파라미터의 Gabor 필터를 사용한 결과이다. 최적화된 필터가 마커 전체를 효율적으로 활용하며 보다 안정적인 위상 영역을 생성함을 확인할 수 있다.
이 연구에서 제안한 마커 기반 2차원 변위 측정 기법의 과정을 요약하면 Fig. 5와 같다.
3. 실험적 검증
이 연구에서 제안한 기법의 검증을 위해 구조물에 마커를 부착 후, 저조도 및 불균일 조도 조건에서 0.1 픽셀 이하의 구조물 거동 측정을 수행하였다. 이 때, 서로 다른 파라미터의 필터를 사용하여 제안된 필터 설계 방식의 효과를 검증하였다.
다음으로 평판을 대상으로 2차원 변위 측정 실험을 수행, 작동 모드 형상을 도출하였다.
3.1 변위 측정 기법의 성능 검증
실험에 사용된 건물 형태의 5층 구조물은 300 mm × 300 mm × 980 mm 크기이며, 24개의 철제 커넥터, 6개의 20 mm 두께 알루미늄 플레이트와 20개의 10 mm 두께 알루미늄 빔으로 구성되어 있다. 구조물은 선형 샤프트 레일 위에 위치하여 free-free 상태의 면내(in-plane) 움직임을 갖도록 제한하였다.
Shaker(VTS-VG-100)와 구조물은 2개의 제진 테이블에 분리되어 설치되었으며, 최하단 플레이트와 연결된 stinger를 통해 sine 파 신호 형태로 인가하였다(Fig. 6(a)).
구조물 하단 빔에 마커를 부착하고 해당 빔만을 부분적으로 촬영하였으며, 비교를 위해 해당 에지에 laser doppler vibrometer(LDV)를 설치하고 동시에 변위 신호를 측정하였다(Fig. 6(b). 카메라를(BFS-U3-17S7M) 사용하여 400 × 400 해상도, 196 프레임/초(FPS) 속도로 1 m 거리에서 촬영하였으며, LED 장치를 이용하여 조명 조건의 변화를 주었다. 촬영 영상의 픽셀-mm 간 변환 계수는 0.3704 mm/pixel이다.
2장에서 제안한 바와 같이, 마커의 형태에 적합하도록 최적 설계된 필터 파라미터를 이용하여 변위 측정 실험을 수행하였다. 세 가지 조도 조건별로 제안한 기법이 측정 가능한 변위 민감도를 산출하였다.
① 이상적인 조도 조건
Fig. 7은 약 300 lux(1 m 거리서 60 W의 전구의 밝기) 밝기로 촬영된 구조물 및 마커의 프레임 이미지 및 진동 변위 측정 결과 이다. 0.01 픽셀 이하의 구조물 변위를 LDV와 유사한 높은 정확도로 측정이 가능함을 확인할 수 있다. 가진력을 0.03 V로 낮추었을 때, LDV의 측정 결과 또한 낮은 신호 대 잡음비(SNR)를 보이는 0.005 픽셀 이하의 미소 거동임에도 카메라 측정 결과가 LDV 측정결과와 유사하였으며, 현재 실험 조건에서 최대 변위 측정 민감도는 0.005 pixel, 1.8 ㎛ 임을 확인할 수 있다.
② 저조도 조건
Fig. 8은 약 10 lux(1 m 거리에서의 5 W의 전구의 밝기) 밝기로 촬영된 프레임 이미지 및 진동 변위 측정결과이다. 육안으로 뚜렷하게 보이지 않는 저조도 조 건임에도 0.1 픽셀 이하의 변위를 LDV와 유사한 높은 정확도로 측정이 가능하였으며, 최대 0.02 픽셀(7.4 ㎛) 이하의 변위의 sine 형태를 확인할 수 있었다.
③ 불균일한 조도 조건
Fig. 9는 조명과 구조물 사이의 장애물로 인해 마커의 상당 부분에 그림자로 가려진 상황에서 구조물의 변위를 측정한 결과이다. 0.02 픽셀(7.4 ㎛) 이하의 변위도 LDV와 유사한 높은 정확도로 측정이 가능함을 확인할 수 있다.
이 절에서는 가진 크기를 0.1 V로 고정한 후, 저조도 조건과 불균일한 조도 조건에서 제안하는 최적 필터 파라미터(Fig. 9) 외에 다른 파라미터를 사용하였을 때 변위 측정 결과를 LDV와 비교하였다(Fig. 10).
Table 1은 3.1절 (2), (3)의 실험에서 사용한 3개의 필터의 파라미터이다. 3개의 필터는 동일한 방향이지만 각각 서로 다른 중심 공간주파수와 Gaussian 표준 편차로 구성되었다.
Fig. 8의 (b)와 Fig. 9의 (b)에서 마커 형태에 최적화된 파라미터의 필터를 이용할 경우, 저조도 조건 및 불균일한 조도 조건에도 불구하고 LDV와 유사한 정확도로 측정할 수 있음을 확인할 수 있었다. 이때 LDV와의 RMSE(root mean square error) 값은 각각 0.0256, 0.014이다(Table 2).
반면, 동일한 방향의 필터를 사용하였음에도 불구하고, 필터 1과 필터 2의 측정 결과는 최적 설계된 필터에 비해 약 1.8배에서 2.2배의 RMSE 값을 보이며, 상대적으로 측정 정확도가 낮아지는 것을 볼 수 있다(Fig. 10, Table 2).
3.2 평판 변위 측정 실험
실험에 사용된 알루미늄 평판은 400 mm × 300 mm × 2 mm 크기이며 구조물 앞면에 총 30개의 마커를 부착하고 이면에 가속도계 1개를 부착하였다. 구조물 한쪽 끝단을 고정한 후 Impact 실험을 수행하였으며 카메라(NX-8)를 이용하여 512 FPS 속도로 촬영되었다(Fig. 11).
Fig. 5의 과정에 따라 총 30개의 마커의 x, y 방향 변위 측정을 수행하였다. 진동 응답만을 사용하여 모드 해석을 수행하였으며(output-only modal analysis), 1차 ~ 5차 고유 진동수 및 operational deflection shape 을 도출하였다.
Table 3은 FEM 해석 및 가속도계 및 카메라를 통한 실험 결과에서 각각 1차 ~ 5차 고유진동수를 비교한 결과이다. Fig. 12는 각 고유진동수에 대한 카메라 측정 결과 및 FEM 해석 결과의 모드 형상 비교 그림이다. 그림으로부터 이 연구에서 제안하는 기법을 통해 2차원 변위를 측정하고, 평판의 모드 해석을 수행할 수 있음을 확인할 수 있다.
4. 결 론
이 연구에서는 구조물의 변위 측정에 최적화된 마커 및 Gabor 필터 설계를 통해 저조도 및 불균일한 조명 조건에도 높은 정확도로 측정 가능한 영상 위상 기반 2차원 변위 측정 기법을 제안하였다. 마커 내 2개의 수직선에 최적 설계된 Gabor 필터를 사용하여 알고리즘 처리 효율 증가와 함께 조도 조건 변화에 따른 알고리즘 강건성 및 정확도를 크게 개선하였다.
LDV 측정 결과와 비교하였을 때 이상적인 조도 조건에서는 최대 0.005 픽셀(1.8 ㎛) 이하의 미소 거동 측정이 가능하였으며, 기존의 영상 처리 기법에서 측정에 어려움이 발생하는 저조도 및 불균일한 조명 조건에도 최대 0.02 픽셀(7.4 ㎛)의 미소 거동 측정이 가능함을 확인하였다.
이 연구를 통해 평판 구조물의 2차원 변위 측정 및 모드 해석을 수행하였으며, 미소 변위에 대한 측정 민감도 및 조도 조건 변화에 대한 강건성을 바탕으로 구조 건전성 모니터링 등 다양한 분야에서 효과적으로 적용이 가능할 것이다. 특히, 충분한 조도 조건 확보가 어려운 거대 구조물의 안전성 평가에 있어 효율적인 시스템 구성으로 구조물의 진동 분석 및 진단이 가능할 것으로 기대된다.
Acknowledgments
이 연구는 한국전력공사의 2020년 착수 기초연구개발 과제 연구비에 의한 지원과 (과제번호: R20XO03-03), 2019년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(2019R1I1A3A01059438).
References
- Son, K.-S., Jeon, H.-S., Park, J.-H. and Park, J. W., 2013, A Technique for Measuring Vibration Displacement Using Camera Image, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 23, No. 9, pp. 789~796. [https://doi.org/10.5050/KSNVE.2013.23.9.789]
- Jeon, H.-S., Choi, Y.-C. and Park, J-.W., 2008, Displacement Measurement of Multi-point Using a Pattern Recognition from Video Signal, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 18, No. 12, pp. 1256~1261. [https://doi.org/10.5050/KSNVN.2008.18.12.1256]
- Xu, Y. and Brownjohn, J. M., 2018, Review of Machine-vision Based Methodologies for Displacement Measurement in Civil Structures, Journal of Civil Structural Health Monitoring, Vol. 8, No. 1, pp. 91~110. [https://doi.org/10.1007/s13349-017-0261-4]
- Xu, Y., Brownjohn, J. and Kong, D., 2018, A Non-contact Vision-based System for Multipoint Displacement Monitoring in a Cable-stayed Footbridge, Structural Control and Health Monitoring, Vol. 25, No. 5, pp. 1~23. [https://doi.org/10.1002/stc.2155]
- Tissainayagam, P. and Suter, D., 2004, Assessing the Performance of Corner Detectors for Point Feature Tracking Applications, Image and Vision Computing, Vol. 22, No. 8, pp. 663~679. [https://doi.org/10.1016/j.imavis.2004.02.001]
- Chang, C. C. and Xiao, X. H., 2010, Three-dimensional Structural Translation and Rotation Measurement Using Monocular Videogrammetry, Journal of Engineering Mechanics, Vol. 136, No. 7, pp. 840~848. [https://doi.org/10.1061/(ASCE)EM.1943-7889.0000127]
- Baqersad, J., Poozesh. P., Niezrecki, C. and Avitabile, P., 2017, Photogrammetry and Optical Methods in Structural Dynamics – A Review, Mechanical Systems and Signal Processing, Vol. 86, pp. 17~34. [https://doi.org/10.1016/j.ymssp.2016.02.011]
- Lee, J., Lee, K. C., Cho, S. and Sim, S. H., 2017, Computer Vision-based Structural Displacement Measurement Robust to Light-induced Image Degradation for In-service Bridges, Sensors, Vol. 17, No. 10, p. 2317. [https://doi.org/10.3390/s17102317]
- Olaszek, P., 1999, Investigation of the Dynamic Characteristic of Bridge Structures Using a Computer Vision Method, Measurement, Vol. 25, No. 3, pp. 227~236. [https://doi.org/10.1016/S0263-2241(99)00006-8]
- Gautama, T. and Van Hulle, M. M., 2002, A Phase-based Approach to the Estimation of the Optical Flow Field using Spatial Filtering, IEEE Transactions on Neural Networks, Vol. 13, No. 5, pp. 1127~1136. [https://doi.org/10.1109/TNN.2002.1031944]
- Movellan, J. R., 2002, Tutorial on Gabor filters, Open Source Document, pp. 1~23.
- Kong, Y. and Miao, Y., Jeon, J. Y. and Park, G., 2021, Design of Optimal Steerable Filters for Vision-based Full-field Displacement Measurements, Transactions of the Korean Society of Mechanical Engineers, A., Vol. 45, No. 1, pp. 75~84. [https://doi.org/10.3795/KSME-A.2021.45.1.075]
- Chen, J. G., Wadhwa, N., Cha, Y. J., Durand, F., Freeman, W. T. and Buyukozturk, O., 2015, Modal Identification of Simple Structures with High-speed Video Using Motion Magnification, Journal of Sound and Vibration, Vol. 345, pp. 58~71. [https://doi.org/10.1016/j.jsv.2015.01.024]
Yeseul Kong is a graduate research assistant of mechanical enginnering department at Chonnam National University. He received his B.S. and is currently pursuing M.S. at the same institute in the area of image processing and structural health monitoring.
Gyuhae Park is a professor of mechanical engineering department at Chonnam National University. He has published more than 300 technical articles in the area of structural health monitoring, vibration/noise analysis and control, active and smart structures, and energy harvesting and has served as an associate editor for 8 SCI(E) journals, including Journal of Vibration and Control, Shock and Vibration, and Journal of Intelligent Material Systems and Structures. He is elected a Fellow of American Society of Mechanical Engineers in 2017.