영상 기반 딥러닝을 통한 배관 누설 가시화 기술

1. 서 론

발전소를 비롯한 산업구조물에 있어서 배관은 사람의 혈관과 같은 역할을 하는 설비로써 누설이 발생하면 구조물 건전성에 치명적인 위협이 되므로 주요 모니터링 대상에 해당한다^(1,2). 특히, 고온의 고압가스가 통과하는 배관의 경우, 미세한 결함을 통해서 누설이 발생했을 시 이를 육안으로 확인하기 곤란하다. 이를 인지하지 못한 채로 배관 검사를 위해 접근하게 되면 인체에 심각한 상해가 발생할 수 있다. 따라서 설비뿐만 아니라 검사자의 안전성을 향상하기 위해서도 배관 누설 영역을 탐지하는 시스템을 운용하는 것이 필요하다. 이를 활용해 검사자가 직관적으로 누설 영역을 식별할 수 있으면, 더욱 안전하게 적절한 조처를 할 수 있다.

배관 누설을 탐지하기 위한 기술로서 AE(acoustic emission) 센서를^(3,4) 이용한 누설 감지 기술이 주로 이용되고 있으며, 온도나 습도, 유량 등을 측정하는 다양한 센서를 이용한 누설 검출 기술 또한 연구되고 있다. 그러나 AE 센서를 이용하여 누설 탐지를 수행하는 경우 주변 환경에 의한 영향을 크게 받기 때문에 이를 해소하는 방안들이 필요하며, 대규모 배관 설비에 적용하기 위해서는 다수의 센서를 사용해야 하므로 비용 부담 또한 크다.

이러한 단점들을 해결하기 위하여 카메라 영상을 활용한 배관 누설 탐지 기술에 관한 연구가 수행되고 있다^(5~8). 카메라를 이용한 배관 누설 탐지 기술은 수집된 영상으로부터 누설부의 증기 및 열기에 의해 누설부 주변이 광학적으로 왜곡되는 특징을 분석하여 누설을 진단한다. 카메라를 이용한 배관 누설 탐지 기술은 센서를 이용한 기술 대비 광범위한 영역의 모니터링이 가능하다는 측면에서 대규모 배관 설비 모니터링에 효용성 크다는 장점이 있으며, 원거리 측정이 가능하므로 검사자의 안전성 보장 면에서도 유리하다.

이러한 장점에도 불구하고 카메라를 이용한 배관 누설 진단 기술은 누설에 의한 증기 및 열기의 반투명한 특성으로 영상 분석이 까다롭고⁽⁶⁾, 진동 및 조도와 같은 주변 환경 조건에 따라서 진단 정확도가 영향을 받기 때문에⁽⁷⁾ 실제 현장 적용을 위해서는 환경 조건 변화와 요구되는 진단 수준에 부합할 수 있는 진단 기술의 개발이 필요하다.

합성곱 신경망(convolutional neural network)은 영상 분석 분야에서 탁월한 성능을 나타내는 딥러닝 모델이며⁽⁹⁾, 최근 EfficientNet-L2⁽¹⁰⁾를 활용한 Meta Pseudo Labels⁽¹¹⁾를 통해 ImageNet⁽¹²⁾ 데이터셋에서 90.2 %의 Top-1 Accuracy를 달성하였다. 각 합성곱 커널(kernel)은 이미지의 특징을 학습하고, 그러한 커널들이 계층적으로 쌓여 심층 신경망이 구성된다. 일반적으로 각 계층(layer)은 동일 크기의 커널들로 구성되지만, 데이터의 특성을 다각적으로 분석할 수 있도록 여러 크기의 다중 커널(multiple kernel)을 활용하면 모델 성능이 향상될 수 있다^(13,14).

이 연구에서는 카메라로 촬영된 영상으로부터 정상 영역과 누설 영역에서 나타나는 픽셀의 변화 특성을 다중 커널 신경망의 딥러닝을 통해, 누설 영역을 판독하고 해당 영역을 가시화하는 기술을 소개한다. 누설 판정을 위한 모델의 출력값에 대한 임계값(threshold) 설정에 따른 정밀도(precision)와 재현율(recall)에 대한 분석을 통해 누설 영역 가시화 특성을 조절한 결과를 제시한다. 이러한 절차로 딥러닝을 활용해 누설 영역을 검사 환경과 목적에 부합하게 가시화할 수 있음을 보여준다.

2. 배관 누설 영상 수집 및 데이터셋 구축

2.1 모의 배관 누설 영상 수집

(1) 배관 누설 모의실험 장치

스테인레스(STS) 소재의 0.75 inch 배관을 활용하여 모의 누설을 위한 배관을 Fig. 1과 같이 구성하였다. 배관 내부의 증기 온도 및 압력을 측정할 수 있는 센서를 설치하여 증기 누설 시의 배관 상태를 모니터링이 할 수 있도록 설계하였다. 해당 배관을 최대 200 ℃, 5기압의 증기를 발생시킬 수 있는 증기 발생기와 연결하여 배관에 고온 고압의 증기가 유입될 수 있도록 하였다. 누설은 7곳에 설치된 바늘 밸브(needle valve)를 각각 여닫는 방식으로 이뤄진다.

Fig. 1

Pipe leakage monitoring system

(2) 배관 누설 감시 영상 수집 장치

넓은 영역의 증기 누설을 감시할 수 있는 4대의 CCTV 카메라를 활용하여 모의 누설 배관 주변에 배관 방향으로 각각 거치하고 배관 상태를 영상으로 기록했다. 카메라를 통해 수집되는 영상은 빨간색, 녹색, 청색의 3채널(RGB: red, green, blue)이며, 가로 1280 픽셀(pixel), 세로 720 픽셀의 크기의 프레임으로 초당 15장씩 기록되었다.

(3) 배관 누설 모의시험

배관을 순환하는 증기 온도가 150 ℃에 2기압 조건에서 카메라 위치 및 누설 밸브 조합에 따라서 75가지의 조건들에 대해서 각 1분 이내의 영상을 수집했고, 총 수집된 프레임 개수는 약 3만 장이다.

2.2 픽셀별 누설 여부 판별 데이터셋 구축

(1) 누설 여부 분석을 위한 소프트웨어 개발

영상에서 누설 영역의 픽셀들에서 색상 변화가 시간 영역과 주파수 영역에서 어떤 특성이 있는지를 확인할 수 있는 소프트웨어를 파이썬(Python) 기반으로 개발하였다. 이를 활용하여, 누설 여부에 따른 색상 변화를 살펴보면 Fig. 2와 같다. 누설이 있는 경우에는 색상 변화가 크게 나타나며, 다양한 주파수 성분들이 관찰된다. 누설로 인한 색상 변화의 주파수 성분이 다양함으로 특정 주파수를 분석하는 알고리즘으로 누설을 탐지하기 곤란하다.

Fig. 2

Color level variations in time domain and their frequency spectra

(2) 픽셀 단위의 색상 변화 데이터 전처리

세 채널의 변화가 유사하다는 특징을 고려하여 Fig. 3과 같은 절차를 통해, 세 채널의 색상 변화의 평균값을 취하여 단일 채널로 만들고 다섯 프레임을 하나의 시퀀스(sequence)로 추출하여 마지막 프레임을 기준으로 상대적 변화값으로 표현한 후, 색상 범위의 최대값인 255로 나누는 정규화를 수행하면 Fig. 4와 같다. 이처럼 상대적 색상 변화값을 사용하면 누설과 무관한 조명 변화 및 배관의 색상 등에 의한 색상 특성에 대한 학습을 배제할 수 있다.

Fig. 3

Process to extract normalized relative color variation

Fig. 4

Normalized relative color variations

(3) 누설 여부 레이블링 및 딥러닝을 위한 분배

누설이 있는 픽셀에 대해서는 1 그렇지 않은 픽셀은 0으로 레이블링하였다. 임의 샘플링을 통해 누설이 없는 것(0)과 있는 것(1)에 대해 1:1의 비율로 총 10만 개의 픽셀 시퀀스로 구축하였고, 학습(train)과 검증(validation)을 위해 8:2로 재분배하여 데이테셋을 구축하였다. 이때, 각 데이터셋에서 누설 여부에 대한 데이터 비율이 1:1로 유지될 수 있도록 Table 1과 같이 계층적 임의 샘플링(stratified random sampling)을 수행하였다.

Table 1

Data counts in train and validation datasets

3. 누설 확률 추정을 위한 딥러닝

3.1 모델 구성

각 픽셀의 평균 색상 변화인 단일 채널의 시간 영역의 상대적 색상 변화값을 입력으로 하고 누설에 대한 예측값을 확률로 출력하는 모델을 다중 커널 신경망으로 Fig. 5와 같이 구성하였다. 다섯 프레임의 입력 데이터의 크기는 5×1이며, 시간 영역에서 저주파 및 고주파 특성을 모두 고려하기 위해서 색상 변화의 특징 학습을 위해 네 종류의 크기(2×1, 3×1, 4×1, 5×1)를 가진 커널을 각 64개씩 활용하였다. 최초 입력 데이터가 동일하게 다중 커널을 통과하며, 이를 통해 출력된 특징값을 1차원으로 엮으면 640×1 형태의 특징 벡터로 재배열된다. 이후 다섯 층(1024, 512, 256, 128, 64)의 완전 연결 계층(fully connected layer)을 통과하게 하고, 최종적으로 누설이 아닌 경우와 누설인 경우에 대해 각각 확률을 표현하는 두 개의 값을 출력하도록 하였다. 모델의 과적합을 방지하기 위해, 각 완전 연결 계층을 통과한 후에는 10 %의 드롭아웃(dropout)을 적용하였다. 총 학습 파라미터는 1 354 946개이며, 이 연구에서는 TensorFlow 2.4.1을 활용하여 구현하였다.

Fig. 5

Multiple kernel neural network architecture

3.2 학습 조건 및 결과

(1) 손실함수 및 최적화 기법

누설 여부에 대한 확률을 추정하므로 손실함수는 교차 엔트로피(cross entropy)를 활용하였으며, 최적화 기법(optimizer)에는 가중치 학습에 관성(momentum)과 평균 제곱근 전파(RMSProp: root mean square propagation)의 개념이 적용된 Adam(adaptive moment estimation)을 사용하였다. 관성은 가중치의 업데이트 방향을 안정화하여 학습을 가속하고, 평균 제곱근 전파 알고리즘은 최근 업데이트 이력이 적었던 가중치들의 학습을 촉진하는 지수가중이동평균법(exponential weighted moving average)이 적용되어 학습 성능과 효율이 향상된다.

(2) 모델 학습 및 검증

최초 학습률은 0.001로 설정하였으며, 검증 데이터의 손실함수의 값이 5회 이상의 학습 횟수(epoch)가 지나도 최소값을 갱신하지 않으면 학습률을 50 %씩 감소시켰고, 10회 이상 지나도 갱신하지 않을 경우에는 모델의 과적합을 방지하기 위해 학습을 조기 종료(early stopping)하였다. 임계값을 50 %로 설정한 조건에서 정확도(accuracy)는 학습 데이터셋과 검증 데이터셋에 대해 각각 92.58 %, 92.09 %로 Fig. 6과 같이 나타났다.

Fig. 6

Confusion matrices

(3) 학습된 모델을 활용한 누설 영역 가시화

학습된 모델을 활용하여, Fig. 7과 같이 누설이 일어나고 있는 영상에 누설부가 가시화되도록 하였다. 원본 영상에서 매 다섯 프레임씩 추출하여 픽셀별로 모델 학습을 위해 수행했던 전처리를 똑같이 적용한 후 모델에 입력하였고, 출력된 각 픽셀의 누설 확률을 입력 영상의 크기로 재배치하여 누설 확률을 이미지화하였다. 누설 확률이 사전에 설정한 임계값 이상이면 해당하는 픽셀들의 빨간색 채널이 최대값이 되도록 하여 영상을 만들고 이를 입력 영상과 합성하면 누설 영역이 가시화된다. 이 연구에서는 NVIDIA GeForce RTX 3090의 50 % 성능을 활용하는 경우, 다섯 프레임의 영상(가로: 1280 픽셀, 세로: 720 픽셀, 가로 × 세로: 총 921 600 픽셀)의 누설 여부를 판독하는 데에 약 0.286초(초당 3.5건)가 소요되었다.

Fig. 7

Model input and output: color video, pixel-wise leakage probability image and leakage visualization image

4. 딥러닝 기반 누설 영역 가시화 특성 분석

4.1 임계값에 따른 정밀도-재현율 분석

학습된 모델을 통해 실제 누설 영상에서 누설부를 가시화함에 있어서 입력 영상의 대부분이 누설부가 아니므로 누설부를 못 찾는 경우보다 누설부가 아닌 영역을 잘 찾는 픽셀의 빈도수가 압도적으로 많다. 이러한 이유로 누설 영역을 제대로 가시화하지 못한 경우에도 영상 전체에 대한 누설 판독의 정확도(accuracy)가 높게 산출되는 경향이 있다. 누설 영역 가시화 성능을 합리적으로 평가하기 위해서는 Fig. 8과 같이 임계값에 따른 정밀도와 재현율을 검토하는 것이 필요하다. 정밀도는 모델이 누설이라고 판단한 픽셀들 중에 실제 누설에 해당하는 픽셀들의 비율이며, 재현율은 실제 누설에 해당하는 픽셀들 중에서 모델이 누설이라고 찾아낸 픽셀들의 비율이다. 누설에 대한 상황 대처의 시급성이 높은 유독 가스 배관 등과 같은 위험 요소가 많은 환경일수록 낮은 임계값을 통해 높은 재현율을 담보하는 것이 필요하며, 반대의 환경에서는 임계값을 높여서 확실한 경우에만 가시화함으로써 오탐(false alarm)을 줄일 수 있다. 일반적으로 정밀도와 재현율의 조화평균(F1-score)이 최대가 되는 임계값을 선택하는 것이 합리적이며, 이 연구에서는 임계값이 97 %일 때 조화평균이 최대였다.

Fig. 8

Precision, recall, and F1-score depending on the threshold for leakage classification

4.2 임계값에 따른 누설 영역 가시화 비교

정밀도가 높으면 누설이 확실시되는 영역만 누설로 판정하게 되고, 재현율이 높으면 누설의 가능성이 낮은 영역까지도 누설로 판정한다. 임계값(50 %, 97 %, 99.5 %)에 따른 누설부 가시화 결과는 Fig. 9와 같다. 실제 누설 영상에서 임계값을 50 %로 설정했을 때 정확도가 97.47 %임에도 정밀도는 24.092 %로 상대적으로 낮아서, 누설 영역뿐만 아니라 누설이 아닌 영역도 누설로 판단하는 오탐이 국부적으로 나타나는 것을 확인할 수 있다. 반면, 임계값이 99.5 %인 경우는 상대적으로 정밀도가 높아서, 누설이 아닌 영역을 누설로 오탐 하는 것은 현저히 줄어들었으나 누설부의 일부만 가시화됨을 확인할 수 있다. 따라서, 누설이 없는 영역이 대부분인 실제 영상에 적용 시에는 정확도만을 근거로 성능을 판단하는 것보다는 정밀도와 재현율을 고려하여 허용 가능한 오탐의 수준을 결정하고 이를 토대로 임계값을 설정하는 것이 합리적이다.

Fig. 9

Leakage visualization according to the threshold

5. 결 론

이 연구에서는 카메라로 촬영된 다섯 프레임의 입력 영상으로부터 누설 영역을 가시화하는 기술을 개발하였다. 누설 영역을 판독하기 위해 각 픽셀의 색상 변화 특성을 다중 커널 인공신경망을 활용하였고, 학습된 모델을 통해 각 픽셀의 누설 확률을 추정하였다. 추정된 누설 확률이 설정된 임계값 이상이면 해당하는 픽셀들의 빨간색 채널이 최대값이 되도록 하여 영상을 만들고 이를 입력 영상과 합성하여 누설 영역이 가시화하였다. 임계값에 따른 누설 영역 가시화 특성을 분석하여, 임계값이 높으면 정밀도가 높아져 누설이 확실시되는 영역만 누설로 판정하게 되지만, 임계값이 낮아지면 재현율이 높아져 누설의 가능성이 낮은 영역까지도 누설로 판정하는 결과를 확인하였다. 누설에 대한 위험도에 따라서 누설이 아님에도 누설로 판정하는 오탐의 비중을 적절하게 조절하는 것이 필요하며, 이는 임계값 조절을 통해 가능함을 확인하였다. 이와 같은 딥러닝 및 임계값 분석 과정을 통해, 영상 기반으로 누설 영역을 가시화함에 있어서 딥러닝이 누설을 감시하는 환경과 목적에 부합하게 활용될 수 있음을 보여준다.

Acknowledgments

이 성과는 2020년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2020M2C9A1062710).

References

• Son, K.-S., Jeon, S.-H., Choi, Y.-C. and Park, J.-W., 2011, Oil Leak Detection on a Plant by Using CCTV Camera, Proceedings of the KSNVE Annual Spring Conference, pp. 136~141.
• Boaz, L., Kaijage, S. and Sinde, R., 2014, An Overview of Pipeline Leak Detection and Location Systems, Proceedings of the 2nd Pan African International Conference on Science, Computing and Telecommunications (PACT 2014), pp. 133~137. [https://doi.org/10.1109/SCAT.2014.7055147]
• Miller, R. K., Pollock, A. A., Watts, D. J., Carlyle, J. M., Tafuri, A. N. and Yezzi Jr, J. J., 1999, A Reference Standard for the Development of Acoustic Emission Pipeline Leak Detection Techniques, NDT & E International, Vol. 32, No. 1, pp. 1~8. [https://doi.org/10.1016/S0963-8695(98)00034-6]
• Mostafapour, A. and Davoudi, S., 2013, Analysis of Leakage in High Pressure Pipe Using Acoustic Emission Method, Applied Acoustics, Vol. 74, No. 3, pp. 335~342. [https://doi.org/10.1016/j.apacoust.2012.07.012]
• Choi, Y. C., Jeon, H. S., Son, K. S. and Park, J. W., 2014, Correction of Error due to Camera Vibrating During Detecting Steam Leakage by Using Image, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 24, No. 10, pp. 795~801. [https://doi.org/10.5050/KSNVE.2014.24.10.795]
• Choi, Y. C., Son, K. S., Jeon, H. S. and Park, J. H., 2010, Steam Leak Detection by Using Image Signal, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 20, No. 9, pp. 828~833. [https://doi.org/10.5050/KSNVE.2010.20.9.828]
• Jeon, H. S., Suh, J. S., Chae, G. S., Son, K. S., Kim, S. O. and Lee, N. H., 2016, Development of Leak and Vibration Monitoring System for High Pressure Steam Pipe by Using a Camera, Journal of the Korean Society for Nondestructive Testing, Vol. 36, No. 6, pp. 496~503. [https://doi.org/10.7779/JKSNT.2016.36.6.496]
• Kim, S. O., Park, J. S. and Park, J. W., 2019, A Leak Detection and 3D Source Localization Method on a Plant Piping System by Using Multiple Cameras, Nuclear Engineering and Technology, Vol. 51, No. 1, pp. 155~162. [https://doi.org/10.1016/j.net.2018.09.012]
• Lee, K., Na, J., Sohn, J., Sohn, S. and Lee, S., 2020, Image Recognition Algorithm for Maintenance Data Digitization: CNN and FCN, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 30, No. 2, pp. 136~142. [https://doi.org/10.5050/KSNVE.2020.30.2.136]
• Tan, M. and Le, Q., 2019, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, Proceedings of the 36th International Conference on Machine Learning, PMLR:97, pp. 6105~6114.
• Pham, H., Dai, Z., Xie, Q. and Le, Q. V., 2021, Meta Pseudo Labels, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11557~11568.
• Deng, J., Dong, W., Socher, R., Li, L. J., Li, K. and Fei-Fei, L., 2009, ImageNet: A Large-scale Hierarchical Image Database. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 248~255. [https://doi.org/10.1109/CVPR.2009.5206848]
• Sohn, W. B., Lee, S. Y. and Kim, S., 2020, Single-layer Multiple-kernel-based Convolutional Neural Network for Biological Raman Spectral Analysis, Journal of Raman Spectroscopy, Vol. 51, No. 3, pp. 414~421. [https://doi.org/10.1002/jrs.5804]
• Naim Mursalim, M. K., and Kurniawan, A., 2021, Multi-kernel CNN Block-based Detection for COVID-19 with Imbalance Dataset, International Journal of Electrical & Computer Engineering, Vol. 11, No. 3, pp. 2467~2476. [https://doi.org/10.11591/ijece.v11i3.pp2467-2476]