과완전 오토인코더를 이용한 가변 속도 조건 베어링의 이상탐지
Ⓒ The Korean Society for Noise and Vibration Engineering
Abstract
Rolling bearings are an essential component for the efficient operation of rotating machinery as they reduce friction and support loads. However, defects in bearings can cause performance issues, unexpected downtimes, and high repair costs, thus rendering early fault detection critical. This study develops a deep learning-based anomaly-detection model using vibration data based on various speeds. By employing an overcomplete autoencoder and a semi-supervised learning approach using only normal data, the proposed method overcomes the limitations of conventional supervised learning, which requires a significant amount of defect data. Additionally, the self-attention mechanism is utilized to enhance anomaly detection. This approach is expected to increase defect-detection accuracy and support predictive maintenance effectively.
Keywords:
Overcomplete Autoencoder, Anomaly Detection, Damage Detection, Classification, Vibration Signal, Deep Learning키워드:
과완전 오토인코더, 이상 탐지, 결함 탐지, 분류, 진동 신호, 딥러닝1. 서 론
구름 베어링은 회전 기계의 핵심 구성 요소로, 기계의 원활한 작동을 보장하는 데 필수적인 역할을 수행하면서도 기계 고장이 빈번하게 발생하는 이유 중 하나이다(1). 구름 베어링은 내륜과 외륜 사이에 전동체를 배치하여 서로 접촉하지 않도록 유지하며, 이 과정에서 자중과 하중을 지지하고 축의 위치를 고정함으로써 기계 부품의 원활한 회전을 가능하게 한다. 이러한 기능을 통해 베어링은 기계의 작동 효율을 극대화하고, 마찰로 인한 열과 변형을 최소화하여 기계 고장을 예방하는 데 중요한 역할을 한다(1). 그러나 구름 베어링에 결함이 발생할 경우, 이는 기계의 성능 저하뿐만 아니라 심각한 가동 중지 시간과 막대한 수리 비용을 초래할 수 있다(2). 따라서 구름 베어링의 결함을 조기에 감지하고, 이를 신속하게 대응하는 것은 기계 유지보수의 핵심 과제 중 하나이다. 베어링 결함의 조기 감지는 기계의 가동 중지 시간을 최소화하고, 예기치 못한 고장을 예방하며, 전반적인 운영 비용을 절감하는 데 중요한 역할을 한다. 최근 딥러닝 기반의 이상 탐지 기법이 주목받고 있으며, 그 중 오토인코더(autoencoder)를 활용하는 방법이 널리 연구되고 있다(3,4). 이는 진동 신호와 같은 복잡한 데이터에서 유용하게 활용된다. 이상 탐지 분야에서 오토인코더는 정상 데이터만을 활용하여 결함을 감지하는 단일 클래스 분류(one-class classification) 접근법으로 대량의 결함 데이터를 요구하는 기존 지도 학습 방식의 한계를 극복하며, 높은 정확도로 결함을 감지할 수 있다(5). 오토인코더를 사용한 이상 탐지 모델의 비교분석 및 이상치 판별 기준에 대한 연구에서는 제조 공정에서의 정상/불량 판정을 위한 오토인코더 기반의 이상 탐지 방법들의 비교분석과 우수한 성능을 보인 이상치 판별 기준을 제시하였다(6). Hou 등은 트랜스포머(transformer) 기반의 베어링 이상 탐지를 높은 정확도로 수행하였다(7). 가변 속도 조건에서의 베어링 이상 탐지에 관한 연구도 진행되고 있는 데 Xiang 등은 가변 속도 조건에서 Stacking AE를 활용하여 가변 속도 베어링 이상 탐지 기법을 제안하였으며, 이를 통해 속도 변화에 강인한 진단 성능을 확인하였다(8). 일반적인 과소완전(undercomplete) 오토인코더는 입력층보다 작은 차원의 압축된 은닉층을 사용하기 때문에 매우 복잡한 데이터 사이의 관계를 알기 어려운 경우가 있으나, 과완전(overcomplete) 오토인코더를 이용한 기법은 입력보다 큰 차원의 은닉 층을 사용하여 데이터의 복잡한 패턴을 학습하며 이상 탐지의 정확도를 높이는 데 기여할 수 있다.
이 연구에서는 가변 속도 조건에서 측정된 구름 베어링의 정상 진동 데이터를 학습하고, 구름 베어링의 내륜, 외륜, 볼, 세가지 파손 종류에 대해 이상 탐지를 수행한다. 비지도학습 기반 이상 탐지 성능을 높이기 위해 과완전 오토인코더 모델을 사용하였고, 셀프 어텐션(self-attention) 기법을 적용하여 정상과 이상 데이터를 구분하는 정확도를 향상시킬 수 있도록 한다. 비선형 차원축소 기반의 t-SNE(t-distributed stochastic neighbor embedding) 시각화를 이용하여 셀프 어텐션의 적용에 따른 성능 향상을 확인한다. 과완전 오코인코더에 셀프 어텐션 기법의 적용 유무에 따른 이상 탐지 성능과 anomaly transformer를 이용한 이상 탐지 성능을 비교하여 제안된 모델의 우수성을 확인한다.
2. 이상 탐지 모델
2.1 과완전 오코인코더
과완전 오토인코더는 입력 데이터의 잠재 공간(latent space)을 입력 데이터보다 높은 차원으로 설정하여 데이터의 표현력을 강화한 오토인코더 모델의 한 유형이다. 일반적인 오토인코더는 데이터를 압축하고 다시 복원하는 방식으로 작동하며, 이를 통해 데이터의 중요한 특징을 학습한다. 그러나 과완전 오토인코더는 데이터의 차원을 팽창(expansion)시키고 이를 다시 복원하는 구조를 채택하여 고차원 데이터의 복잡한 특성과 중요성을 더욱 효과적으로 포착한다. 기존의 일반적인 오토인코더는 데이터의 차원을 압축해 주요 특징을 학습하는 데 중점을 두지만, 낮은 차원의 데이터에서는 중요한 정보를 충분히 반영하지 못할 가능성이 있다. 반면, 과완전 오토인코더는 차원을 확장하여 정보 손실을 줄이기에 더 풍부하고 세밀한 특징을 학습할 수 있다. 이는 특히 고차원 데이터 분석과 이상탐지 분야에서 강력한 도구로 사용될 수 있다. 과소완전 오토인코더와 과완전 오토인코더의 차이는 Fig. 1을 통해 시각적으로 확인 가능하다. 과완전 오토인코더는 정상 데이터의 세부적인 특징을 학습하여 이상 데이터를 더 정확히 식별할 수 있다. 예를 들어, 기계 진동 데이터를 분석할 때 기존 과소완전 오토인코더는 낮은 차원에서 미세한 이상 신호를 놓칠 수 있지만, 과완전 오토인코더는 확장된 차원을 통해 고차원 패턴까지 학습하며 높은 신뢰도의 이상탐지가 가능하다(9).
Schematics of undercomplete autoencoder and overcomplete autoencoder
이상탐지에서는 재구성 손실(reconstruction loss)을 최소화하는 동시에 데이터 복원 능력을 평가하는 데 초점이 맞춰진다. 이상탐지를 위해서는 정상 데이터에서 높은 복원 성능을 보장하며 이상 데이터에서 낮은 복원 성능을 유도하는 손실 함수로 사용되는데 설계 단계에서는 잠재 공간의 차원을 적절히 설정해 과도한 차원 팽창으로 인한 과적합(overfitting)을 방지해야 한다. 과완전 오토인코더는 높은 차원의 잠재공간을 사용할 때 계산 비용이 증가하며 충분한 데이터와 정규화 기법이 필요하다. 하지만 이러한 제한에도 불구하고 데이터 복원과 이상탐지에서 탁월한 성능을 제공하며, 고차원 데이터의 처리와 분석에 있어 매우 유용한 도구이다.
2.2 셀프 어텐션
기계학습에서 어텐션은 시퀀스 내 각 구성 요소의 중요도를 해당 시퀀스의 다른 구성 요소 대비 상대적으로 결정하는 방법이다. 셀프 어텐션은 입력 시퀀스의 각 요소가 같은 시퀀스 내의 다른 모든 요소를 가중 합(weighted sum)으로 참조하도록 하여, 전역적 의존성을 효율적으로 모델링하는 메커니즘이다. 트랜스포머 아키텍처에서는 재귀(recurrence) 메커니즘을 어텐션 메커니즘으로 대체하여 성능을 향상시켰다. 셀프 어텐션은 쿼리 행렬 , 키 행렬 , 밸류 행렬 를 통해 내적 연산 및 소프트맥스(softmax) 함수를 적용하여 계산된 가중치는 데이터 간의 관계를 나타낸다.
| (1) |
| (2) |
| (3) |
| (4) |
여기서, 는 키 행렬의 차원수이다.
3. 이상 탐지
3.1 데이터 세트
이 연구에서 사용된 베어링의 진동 신호 데이터 세트는 제1회 한국소음진동공학회 AI 챌린지에서 제공된 가변 속도 조건, 680 r/min ~ 2460 r/min을 갖는 구름 베어링의 진동 데이터 세트를 사용했으며 회전 기계 테스트 베드는 3상 인덕션 모터, 토크 미터, 기어박스, 베어링 하우징 A, 베어링 하우징 B, 로터 및 히스테리시스 브레이크로 구성되어 있다. 각 진동 데이터는 베어링 하우징의 수직방향 및 수평방향에서 PCB 352C3 가속도계를 사용하여 25.6 kHz의 샘플링 주파수로 1초간 계측되었다. 학습 데이터 세트는 3354개의 정상 데이터로 구성되며, 테스트 데이터 세트는 총 1679개의 내륜 결함, 외륜 결함, 볼 결함, 정상데이터를 포함한다. Table 1에 학습 데이터와 테스트 데이터의 개수를 정리하였다.
Data set information
3.2 모델 학습
이 연구에서는 롤링 요소 베어링 결함에서 알려지지 않은 작동 조건에서도 높은 정확도를 보인 멜 스펙트로그램(mel spectrogram) 기반의 전처리를 수행한다(10,11). 전처리 과정은 정규화, 단시간 푸리에 변환(short time Fourier transform, STFT), 멜 스펙트로그램 변환의 세 단계로 구성된다. 원시 진동 데이터의 크기 차이를 보정하기 위해 최대 절대값으로 나누어 [-1, 1] 범위로 정규화를 진행하였다. 이를 통해 모터 속도에 따른 진폭 차이가 존재하더라도 모델이 일관된 특징을 학습할 수 있도록 하였다. 이후, 정규화 된 데이터를 주파수 도메인으로 변환하기 위해 단시간 푸리에 변환의 출력을 제곱하여 전력 스펙트로그램(power spectrogram)을 계산한 후, 멜 필터뱅크를 적용하여 멜 스펙트로그램을 생성한다. 마지막으로 작은 진폭 차이를 강조하기 위해 로그 변환(log-scaling)을 수행하여 멜 스펙트로그램을 전력 스펙트럼으로 사용하였다. 이러한 과정을 통해 원시 진동 데이터가 주파수 성분으로 변환되며, 진동 신호 분석에 적합한 특징을 추출할 수 있다. 이 때 사용된 파라미터는 Table 2에 나타내었다.
Pre-processing parameters
오토인코더 모델은 인코더와 디코더로 구성된 대칭적인 구조를 가지고 있다. 이 모델은 입력 데이터의 차원(B, C, F, T)에 따라 설계되었으며, 여기서 B는 배치 크기, C는 채널 수, F는 주파수 축의 mel bin 수, T는 시간 프레임 수를 의미한다. 인코더는 입력 데이터를 4개의 완전 연결층을 통해 8192 차원으로 확장하며, 각 층에는 ReLU 활성화 함수를 적용하였다. 이후 확장된 벡터를 16개의 토큰으로 분할한 후, 셀프 어텐션 모듈을 적용하여 각 토큰 간의 상호작용을 학습하도록 설계하였다. 셀프 어텐션 모듈은 query-key-value 연산을 기반으로 하는 scaled dot-product attention 구조로, 선형 연산만으로는 포착하기 어려운 고차원 내 특징 간의 관계를 효과적으로 반영한다. 이와 같은 구조는 진동 데이터의 복잡한 주파수 패턴을 보다 세밀하게 학습할 수 있게 하며, 이상 징후 탐지 성능 향상에 기여한다. 디코더 또한 입력과 동일한 차원으로 복원하는 4개의 완전 연결층으로 구성되어 있으며, 복원 과정초기에 동일한 방식으로 16개의 토큰으로 분할한 뒤 셀프 어텐션을 적용함으로써, 복원 과정 중 중요한 특징에 더 높은 가장치를 부여할 수 있도록 설계되었다. Fig. 2에 제안된 모델의 개념도를 나타내었다. 모델 학습에는 손실 함수로 평균 제곱 오차(mean squared error, MSE)를 사용하며, 최적화 알고리즘으로 Adam 옵티마이저를 적용하였다. 전체 데이터셋은 정상데이터를 훈련 데이터(90 %), 검증 데이터(10 %) 로 설정하고 L2 정규화를 통해 과적합을 방지하며 학습을 진행하였다. 학습은 100 epoch를 진행하면서 학습률은 1e-5로 설정되었으며, StepLR 스케줄러를 사용하여 10 epoch 마다 학습률을 감소시키며 학습을 진행하였다. 배치크기는 16으로 실험을 진행하였으며 Table 3에 학습에 사용한 파라미터를 정리하였다.
Overcomplete with self-attention autoencoder
Autoencoder hyperparameters
3.3 성능 평가
모델의 성능 평가를 위해 베어링의 이상 탐지에 자주 사용되는 anomaly transformer와 함께 학습을 진행하였으며, 이상 탐지 과제에 적합한 평가 지표인 AUC(area under the ROC curve), precision-recall, F1-score를 사용하여 Table 4에 정리하였다. 여기서 AUC는 민감도와 특이도의 관계를 종합적으로 반영하여 모델의 전반적인 분류 성능을 나타낸다. Precision-recall은 클래스 불균형이 존재할 때 유리한 평가 방식으로, 모델이 탐지한 이상 중 실제 이상일 확률과 실제 이상 중 탐지된 비율을 함께 고려한다. F1-score는 precision과 recall의 조화 평균으로 두 지표 간 균형을 측정하여 전체적인 탐지 성능을 정량화한다. Table 4에 나타난 결과를 보면, 과완전 오토인코더 모델을 적용한 경우 anomaly transformer를 적용한 것 보다 모든 결함 형태에서 우수한 성능을 갖는 것을 확인할 수 있다. 또한 이 연구에서 제안된 셀프 어텐션 메커니즘을 포함하는 과완전 오토인코더 모델을 적용한 경우, 셀프 어텐션을 적용하지 않은 경우보다 모든 결함 형태에서 더 우수한 성능을 갖는 것을 확인할 수 있다.
Anomaly detection performance comparison
또한, 제안된 모델의 유효성을 검증하기 위하여 Fig. 3에서 셀프 어텐션 메커니즘을 적용한 경우와 적용하지 않은 경우에 대하여 결함 형태에 따른 ROC 곡선을 나타내었고, AUC를 비교하였다. Fig. 3(a), Fig. 3(b)에 나타난 바와 같이 셀프 어텐션을 적용한 경우, ROC 곡선이 좌측 위쪽 모서리 쪽으로 더 크게 이동한 것을 명확하게 확인할 수 있으며, AUC도 더 큰 값을 갖는 것을 확인할 수 있다. Fig. 4에서는 셀프 어텐션 메커니즘을 적용한 경우와 적용하지 않은 경우에 대하여 결함 형태에 따른 precision-recall 곡선을 비교하였다. Fig. 4(a), Fig. 4(b)에 나타난 바와 같이 셀프 어텐션을 적용한 경우, precision-recall 곡선이 우측 위쪽 모서리 쪽으로 더 크게 이동한 것을 명확하게 확인할 수 있으며, 이는 더 우수한 이상 탐지 성능을 가지는 것을 의미한다. 셀프 어텐션 메커니즘을 적용한 경우 더 우수한 성능을 갖는 이유를 확인하기 위하여, 고차원 은닉 표현을 저차원으로 시각화하기 위해 t-SNE 기법을 사용하였고 결과를 Fig. 5에 나타내었다. t-SNE는 고차원 공간에서의 데이터 간 거리 관계를 2차원 또는 3차원으로 투영하는 기법으로, 셀프 어텐션 메커니즘 적용 전후의 은닉 특징 분포 차이를 시각적으로 비교할 수 있도록 하였다. Fig. 5(a), Fig. 5(b)에 나타난 바와 같이 셀프 어텐션 메커니즘을 적용하는 것이 클래스 간 경계를 보다 명확하게 형성하는 데 기여했음을 확인할 수 있다. 정상과 베어링의 결함 형태에 따른 이상 탐지 성능을 Fig. 6의 혼돈 행렬을 통하여 비교하였다. Table 4와 Fig. 3에서 Fig. 6에 나타난 바와 같이 베어링의 내륜 결함은 매우 정확하게 탐지하지만, 외륜 결함을 탐지하는 것은 다소 정확도가 낮은데, 이는 측정된 진동 신호 크기의 차이에 따른 것으로 판단된다.
ROC-curve and AUC
Precision-recall curve
t-SNE
Confusion matrix
4. 결 론
이 연구에서는 구름 베어링의 조기 결함 감지를 목표로, 가변 속도 조건에서 수집된 진동 데이터를 기반으로 하는 이상탐지 모델을 제안하였다. 입력 신호는 멜 주파수 스케일로 매핑하여 시간-주파수 영역의 특징을 표현하였으며 제안된 이상 탐지 모델은 과완전 오토인코더를 구조를 바탕으로 입력보다 높은 차원의 은닉 표현을 학습하여 세밀한 정상 패턴을 포착할 수 있도록 설계되었다. 또한, 인코더 내에 셀프 어텐션 메커니즘을 도입함으로써 은닉 표현 간의 상호작용을 학습하여, 이상 신호에 대한 민감도를 향상시켰다. 제안된 모델은 정상 데이터와 결함 데이터를 높은 정확도로 구분하는 것을 확인하였으며, AUC, precision-recall, F1-score 등의 지표를 통해 모델의 성능을 검증하였다. 다만, 외륜 결함의 분류 정확도가 내륜이나 볼 결함의 분류 정확도보다 상대적으로 낮은 한계를 확인하였다. 또한, 이 연구에 사용된 과완전 오토인코더는 계산량이 많고, 잠재 공간의 해석이 어렵다는 단점이 있다. 제안된 방법은 가변속도 조건에서도 구름 베어링의 조기 결함 감지에 유용하며 기계 시스템의 성능 및 안정성을 향상시키는 데 기여할 수 있을 것으로 기대된다.
Acknowledgments
이 연구는 국립금오공과대학교 대학 연구과제비 (2024년 ~ 2025년)와 2025년도 경상북도 지역혁신중심 대학지원체계(RISE)-(특성화대학)의 지원을 받아 수행된 결과입니다.
References
-
Randall, R. B. and Antoni, J., 2011, Rolling Element Bearing Diagnostics-A tutorial, Mechanical Systems and Signal Processing, Vol. 25, No. 2, pp. 485~520.
[https://doi.org/10.1016/j.ymssp.2010.07.017]
-
Singh, S., Howard, C. Q. and Hansen, C. H., 2015, An Extensive Review of Vibration Modelling of Rolling Element Bearings with Localised and Extended Defects, Journal of Sound and Vibration, Vol. 357, pp. 300~330.
[https://doi.org/10.1016/j.jsv.2015.04.037]
-
Qian, J., Song, Z., Yao, Y., Zhu, Z. and Zhang, X., 2022, A Review on Autoencoder Based Representation Learning for Fault Detection and Diagnosis in Industrial Processes, Chemometrics and Intelligent Laboratory Systems, Vol. 231, 104711.
[https://doi.org/10.1016/j.chemolab.2022.104711]
-
Lee, D., Han, J., Kim, H. S. and Sohn, J. W., 2021, Classification of Damaged Composite Structures Using Structural Vibration Signals Featuring Robustness to Measurement Locations, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 31, No. 6, pp. 684~691.
[https://doi.org/10.5050/KSNVE.2021.31.6.684]
-
Gogna, A. and Majumdar, A., 2016, Semi Supervised Autoencoder, Proceedings of the 23rd International Conference on Neural Information Processing, pp. 82~89.
[https://doi.org/10.1007/978-3-319-46672-9_10]
- Kang, G.-H., Sohn, J.-M. and Sim, G.-W., 2021, Comparative Analysis of Anomaly Detection Models Using AE and Suggestion of Criteria for Determining Outliers, Journal of the Korea Society of Computer and Information, Vol. 26, No. 8, pp. 23~30.
-
Hou, Y., Wang, J., Chen, Z., Ma, J. and Li, T., 2023, Diagnosisformer: An Efficient Rolling Bearing Fault Diagnosis Method Based on Improved Transformer, Engineering Applications of Artificial Intelligence, Vol. 124, 106507.
[https://doi.org/10.1016/j.engappai.2023.106507]
-
Xiang, Z., Zhang, X., Zhang, W. and Xia, X., 2019, Fault Diagnosis of Rolling Bearing under Fluctuating Speed and Variable Load Based on TCO Spectrum and Stacking Auto-encoder, Measurement, Vol. 138, pp. 162~174.
[https://doi.org/10.1016/j.measurement.2019.01.063]
-
Alaghbari, K. A., Saad, M. H. M., Hussain, A. and Alam, M. R., 2022, Activities Recognition, Anomaly Detection and Next Activity Prediction Based on Neural Networks in Smart Homes, IEEE Access, Vol. 10, pp. 28219~28232.
[https://doi.org/10.1109/ACCESS.2022.3157726]
-
Yue, Y., Wang, H. and Zhang, S., 2024, Mel Frequency Mapping for Intelligent Diagnosis of Rolling Element Bearings Across Different Working Conditions, Applied Acoustics, Vol. 220, 109944.
[https://doi.org/10.1016/j.apacoust.2024.109944]
-
Hong, G. and Suh, D., 2023, Mel Spectrogram-based Advanced Deep Temporal Clustering Model with Unsupervised Data for Fault Diagnosis, Expert Systems with Applications, Vol. 217, 119551.
[https://doi.org/10.1016/j.eswa.2023.119551]