개선된 Deep Residual Learning 및 물리 모델 데이터를 이용한 잡음 조건에서의 자동차 샤시 결함 진단

1. 서 론

최근 들어 기계류의 건전성을 평가하는 데 딥러닝(deep learning)의 사용이 일반화되고 있으며 주로 베어링과 같이 기계류의 성능에 핵심적인 역할을 하는 부품의 결함의 검출에 주로 이용되어왔다. 고장 위치를 이미 알고 있고 고장 유형의 재현이 비교적 용이하기 때문에 베어링에서 발생하는 결함 검출에 대한 연구가 상당히 진행되어왔고 딥러닝을 사용하여 정확도 역시 상당히 개선되었다. 연구 초기에는 정상 조건에서의 결함의 종류를 판별⁽¹⁾하는 데 그쳤으나 최근에는 다양한 운전 조건⁽²⁾ 및 비정상 조건⁽³⁾에 대한 연구로 확장되고 있으며 고속전철의 베어링 결함⁽⁴⁾ 검출, 파워 드라이빙 시스템의 결함 검출⁽⁵⁾ 등과 같이 실험실 조건을 벗어나 실제 기계류에 적용된 베어링 및 재현 가능한 결함을 판별하는 수준으로 확장되고 있다. 일반적으로 구조물의 결함 검출을 위해서는 결함이 발생할 것으로 예상되는 모든 위치에 센서를 부착하고 각 부위에서의 이상 신호를 판별하는 방법으로⁽⁶⁾ 진행되고 있으나 차량의 경우 결함이 발생하는 위치를 특정할 수 없는 경우가 많고 데이터를 수집하는 센서의 갯수도 비용 증가 등에 의해 한계가 있기 때문에 최소한의 센서를 이용하여 다양한 위치에서 발생하는 결함을 검출해야 하는 상황이다. 그리고 속도 및 도로 상태 등 다양한 조건에서 주행하기 때문에 이에 대한 고려도 필요하다.

일반적으로 심층 신경망에서 정확도를 향상시키기 위해 좀 더 많은 레이어를 사용하게 되는데 레이어가 많아질수록 역전파의 경사가 소실(gradient vanishing)되거나 발산(gradient exploding)되기 때문에 심층 신경망을 훈련시키기 힘든 문제가 발행하게 된다. ResNet⁽⁷⁾에서는 이를 해결하기 위해 각 레이어에 숏컷 연결(shortcut connection)을 추가하여 경사 소실 및 발산 문제를 완화하였다. 그리고 각 레이어에서 학습 부하를 줄여주는 효과로 인해 숏컷 연결이 없는 일반적인 CNN(convolutional neural network)보다 좀 더 좋은 성능을 보이고 있다. ResNet이 발표된 이후에 숏컷 연결에 대한 추가 연구⁽⁸⁾가 있었는데 숏컷 연결의 정보는 가능한 손상시키지 않는 것이 정보 전달 측면에서 유리하며 잔차 경로(residual path)에서는 숏컷과 합쳐주기 전에 활성화 함수(activation function)를 취해주는 것이 가장 유리하다는 결과를 도출하였다.

이 연구에서는 Deep Residual Network(ResNet)에 DenseNet⁽⁹⁾의 장점을 결합하여 DNI-ResNet(DenseNet Inspired-ResNet)을 제안하였다.

위에서 제안된 DNI-ResNet을 사용하여 표면이 거친 도로를 달리는 차량 주행 조건에서 샤시 시스템의 고무류에서 발생하는 결함을 차량에 부착된 가속도 센서를 이용하여 검출하고자 하였다.

Fig. 1과 같이 표면이 거친 도로의 표면 데이터를 차량의 유한 요소 모델에 가진력으로 사용하여 생성된 차량 진동을 훈련, 검증 및 테스트 데이터로 사용하였으며 샤시 각 고무류의 결함은 강성이 기존대비 50 % 저하된 경우를 기준으로 하였다.

Fig. 1

Process for chassis fault classification using vehicle physics model

차량 진동은 물리 모델 데이터를 사용하여 생성하였기 때문에 실제 차량에서 발생할 수 있는 여러가지 변화(variation)을 고려해야 한다. 주행 시 서로 다른 도로의 표면조건은 물리모델에서 구한 차량 진동에 정규 분포를 따르는 잡음을 추가하여 반영하였다. 충분한 양의 훈련데이터를 생성하기 위해 차량의 4개 위치 및 3개 방향에서 측정한 1차원 형태의 시간 도메인 데이터를 시간축으로 오버랩된 데이터로 나누어 생성하였으며 이를 FFT를 사용하여 주파수 도메인으로 변환한 후 2차원 형태로 변경하였다. 이렇게 변경된 2차원 주파수 데이터에 각 차량에 따라 발생할 수 있는 샤시 시스템 공진 주파수 및 크기의 변화를 고려하였다.

훈련에 사용되는 데이터가 제한적이기 때문에 학습이 이루어지는 도메인 영역이 제한되는 단점이 있으며 실제 조건에서는 학습에 사용되지 않은 도메인의 데이터를 판별해야 하는 경우가 많다. 이러한 도메인 적응(domain adaptation) 성능에 대해서 이 연구에서는 학습에 사용된 데이터의 갯수가 상대적으로 적은 차량 속도 조건 및 학습에 사용되지 않은 새로운 종류의 결함에 대해서도 제안한 DNI-ResNet이 기존의 ResNet 및 CNN보다 좋은 성능을 보이는지 확인하고자 하였다.

2. Deep Residual Learning을 이용한 이상 진단

2.1 기존 Deep Residual Network

ResNet은 모델의 레이어가 깊어질수록 역전파 소실 및 발산에 의해 오히려 성능이 떨어지는 문제를 숏컷 연결을 이용한 잔차 학습(residual learning)을 통해 해결하여 더 깊은 네트웍을 용이하게 학습하도록 하였다. Fig. 2와 같이 기존 뉴럴넷의 학습 목적은 input(x)를 타겟값 y로 맵핑하는 함수 H(x)를 찾는 것이었고 H(x)–y를 최소화하는 방법으로 학습을 진행하지만 Fig. 3과 같이 ResNet은 아웃풋 레이어에 이전 레이어에서 학습했던 정보를 연결함으로써 해당 층에는 추가적으로 학습해야 할 정보만을 학습하게 된다.

Fig. 2

Conventional method: plain layers

Fig. 3

Residual learning: residual block

Fig. 3에서 F는 잔차블록을 의미하며 식 (1)에서 x_l 및 x_l+1은 각각 l번째 및 l+1번째 잔차블록 F에 대한 입력이고 w_l은 l번째 잔차블록 F의 가중치이다. h(x_l) = x_l이 되는 경우 즉 l번째 레이어의 정보를 그대로 전달하는 경우 식 (2)가 되며 식 (2)가 Fig. 3과 동일한 조건이 된다.

$\[ y_l=h\left(x_l\right)+F\left(x_l,W_l\right),x_{l+1}=f\left(y_l\right) \]$

(1)

$\[ x_L=x_l+F\left(x_l,W_l\right) \]$

(2)

$\[ x_L=x_l+\sum _{i=1}^{L-1} F\left(x_i,W_i\right) \]$

(3)

$\[ \frac{\partial \epsilon }{\partial x_l}=\frac{\partial \epsilon }{\partial x_L}\frac{\partial x_L}{\partial x_l}=\frac{\partial \epsilon }{\partial x_L}\left(1+\frac{\partial }{\partial x_l}\sum _{i=1}^{L-1}F\left(x_i,W_i\right) \right) \]$

(4)

식 (3)은 입력부터 아웃풋 직전까지의 레이어를 고려할 경우이며 L은 좀 더 깊은 레이어이며 l은 얕은 레이어를 의미한다. 임의의 레이어에서 역전파의 체인룰(chain rule)⁽¹⁰⁾을 이용하여 역전파를 구하면 식 (4)가 된다. 식 (4)에서 X_L에 대한 손실함수의 기울기∂_ϵ/∂_xL는 어떠한 가중치도 고려되지 않고 전달되기 때문에 좀 더 얕은 l레이어에 정보가 손실없이 전달하는 역할을 하며 두 번째 항인 $$ \frac{\partial \epsilon }{\partial {\mathrm{X}}_{\mathrm{L}}}\left(\frac{\partial }{\partial x_l}\sum _{i=1}^{L-1}F\left(x_i,W_i\right)\right)$$ 이 -1이 되지 않는 이상 손실함수가 상쇄되지 않는 특징이 있기 때문에 가중치가 매우 적은 경우라도 역전파의 소실/발산이 일어나지 않게 된다.

2.2 DNI-ResNet

ResNet의 숏컷 연결 형태에 대해 많은 연구가 진행되어 왔고 이전 레이어의 정보를 바로 연결하는 것이 가장 좋은 효과를 보이는 것으로 확인되었으나⁽¹¹⁾ 이 연구에서는 ResNet에 DenseNet과 같이 이전 레이어에서의 정보가 좀 더 많은 하위 레이어에 전달될 수 있도록 숏컷 연결을 확장한 deep residual network을 제안한다.

Fig. 4의 왼쪽은 기존의 CNN인 플레인 네트워크(plain network)로 VGG nets⁽¹²⁾을 기반으로 3×3 filter를 사용하며 스트라이드(stride) 2를 이용하여 다운 샘플링하고 피쳐맵(feature map)크기가 절반으로 줄어들면 필터의 개수는 2배로 늘리는 구조를 가지고 있다.

Fig. 4

Left: plain network, middle: residual network, right: residual network (DNI-ResNet)

Fig. 4 가운데는 ResNet으로 기본 구조는 플레인 네트워크와 같으나 CNN을 사용하여 가중치를 부여하는 레이어 2개로 이루어진 잔차블록(residual block)을 지날 때마다 숏컷으로 아이덴티티 맵핑(identity mapping)을 연결하였다. 잔차블록 2개를 지날 때마다 스트라이드 2를 사용하여 다운 샘플링되는 데 이때는 식 (2)에서 (x_l)과 같은 아이덴티티 맵핑이 아니라 식 (1)의 h(x_l)과 같이 1×1 CNN이 적용된 숏컷이 사용된다.

Fig. 4의 오른쪽이 이 연구에서 제안하는 DNI-ResNet 구조이며 아이덴티티 맵핑을 각각의 레이어에 추가하였고 DenseNet과 같이 좀 더 하위 레이어에까지 이전 레이어의 정보를 연결하여 학습이 쉽게 되도록 한 것이 특징이다.

첫 번째 레이어는 일반적인 컨별루션 네트웍이며 필터 크기는 입력데이터의 위치, 방향 정보를 얻기 위해 높이 12 그리고 최대 50 Hz범위의 특성을 파악하기 위해 너비 50인 필터를 사용하였다. 각 필터의 변수는 He 정규분포⁽¹³⁾로 초기화하였고 샘플의 평균값을 뺀 값을 사용하였다. 최적화는 Adam 최적화 기법⁽¹⁴⁾과 50개의 배치크기, 학습률은 0.0004, 과대적합을 막기 위해 L2 정규화(regularization)는 0.085를 사용하였다. Table 1에 이 연구에 사용한 DNI-ResNet의 구조를 요약하였다.

Table 1

Architecture for DNI-ResNet

3. 샤시 시스템 결함에 따른 차량 진동

3.1 고장 부위 및 차량 진동 데이터 수집

이 연구에서는 거친 길(rough road)을 주행하는 조건에서 차량 4개소에서 얻는 진동을 훈련 및 검증 데이터로 사용하였다. Fig. 5와 같이 거친 길의 표면 데이터를 주파수 대역으로 보면 낮은 주파수 성분은 상대적으로 매우 큰 편이지만 일반적으로 차량에서 발생하는 로드 기인 진동의 주요 주파수 대역인 50 Hz ~ 350 Hz 대역은 특별히 두드러지게 피크가 올라오지 않고 크기가 거의 일정한 랜덤 가진으로 볼 수 있으며 차량에서 발생하는 진동의 특성은 주로 차량의 타이어, 샤시 시스템 그리고 바디의 공진에 좌우된다.

Fig. 5

Rough road profile

이와 같은 거친 길의 표면 데이터를 차량 모델의 타이어에 가진하고 과도응답 해석을 하여 Fig. 6의 빨간 부분과 같이 차량의 앞뒤 쇽타워(shock tower)에서의 진동을 구하였다.

Fig. 6

Locations of vibration measurement - 4 locations (red area), front/rear LH/RH shock tower

이 연구에서 판별하고자 하는 샤시의 결함은 샤시의 각 파트 중에 마모 및 경화로 인해 성능 변화가 가장 큰 고무 부쉬의 결함을 검출하고자 하였고 결함이 있는 경우 각 부쉬의 강성이 50 % 저하되는 것으로 가정하였다.

결함의 위치는 Fig. 7 및 Table 2에 정리하였으며 판별해야 할 결함조건은 정상 조건을 포함한 총 9개이다. 결함 8가지와 정상조건을 포함하여 총 9가지 조건의 데이터를 생성하였다.

Fig. 7

Location of faults - chassis bushes

Table 2

Fault location and name

결함의 위치만을 파악하기 위한 훈련 및 검증을 위해서는 위에 설명한 데이터를 프론트/리어, 왼쪽/오른쪽의 위치별로 4개로 구분하였고 Fig. 7에서 로워 콘트롤암(lower control arm)의 뒤쪽을 연결하는 라이드 부쉬(ride bush)-9, 10번 위치의 결함을 훈련 데이터에는 추가하지 않고 테스트 데이터에만 추가하여 학습되지 않은 결함의 위치를 잘 파악하는지 확인해 보았다. 또한 변화하는 운전조건을 반영하기 위해서 위와 같은 방식의 데이터를 차량의 속도(50 km/h, 55 km/h, 60 km/h, 65 km/h, 70 km/h)에 따라 생성하였으며 각 속도 별 정상 주행 조건으로 총 4개 위치 그리고 X/Y/Z 3개 방향 총 12개 데이터를 0.001초의 시간 간격으로 구하였다.

3.2 네트워크 입력 데이터

훈련 및 검증시에 많은 데이터 셋을 필요로 하기 때문에 데이터 증강이 필요하다. Fig. 8과 같이 시간 도메인의 차량 진동 데이터 x[n]을 n개의 샘플 길이로 수집하였다. 여기서 L_seq는 각 데이터 샘플의 길이 이며, L_overlap은 각 샘플간의 오버랩되는 데이터의 개수이며, N은 샘플이 갯수이다. 전체 데이터는 0.001초 간격으로 8초간 수집되었으며 훈련 데이터의 경우 N은 400, 검증용 데이터의 N은 100 그리고 테스트용 데이터의 N은 100으로 하였고 L_seq와 L_overlap은 훈련/검증/테스트 데이터 모두 동일하게 설정되었으며 각각 1000, 990이다. 오버랩을 충분히 설정하여 데이터 셋의 개수를 확보함과 동시에 비교적 짧은 시간에 취득된 데이터로 원하는 성능을 달성할 수 있는지 확인하고자 하였다. 그리고 유사한 데이터를 반복적으로 학습시킴으로써 정확도 향상을 기대할 수 있다. 이렇게 증강된 시간 도메인의 차량진동 데이터를 FFT하여 주파수 도메인으로 변환하였고 일반적으로 차량의 샤시 시스템의 공진이 발생하는 주파수 대역을 포함하기 위해 상한 주파수는 350 Hz로 설정하였다. Fig. 9는 주파수 도메인으로 변환된 프론트 쇽타워 에서의 차량 진동 데이터이다.

Fig. 8

Data augmentation

Fig. 9

Vehicle vibration: frequency domain

생성된 주파수 대역의 데이터는 Fig. 10과 같이 12개의 데이터를 이미지 형태로 변환하여 데이터사이즈는 12×300이 되며 아래위 방향으로는 각 측정 위치, 방향별로 배열하였다.

Fig. 10

Organizing 1D data to 2D data

차량에서 발생하는 진동의 변동(variance)은 다음과 같이 크게 3가지로 나누어 볼 수 있다.

첫 번째로 주행 도로의 변동에 의한 차이, 두번째로 차량 간에 발생하는 타이어, 샤시 그리고 바디 등 각 구성요소에서 발생하는 공진 주파수의 차이, 세번째로 차량간에 발생하는 반응량의 차이에 의한 변동으로 나눌 수 있으며 이 연구에서는 물리 기반 모델에서 데이터를 추출하였기 때문에 위와 같은 변동사항을 고려하여 데이터를 생성하였다.

주행 도로 관점에서는 차량 4개소에서 측정한 시간 도메인의 데이터에 노이즈를 SNR 0 dB, 5 dB, 10 dB, 15 dB로 추가하여 다양한 도로 조건에서의 결함 판별성능을 파악하였다. 차량 모델에서 타이어, 샤시에는 변동에 대한 변수를 고려하지 않았기 때문에 상대적인 비교관점에서 주행도로의 차이에 의한 변동으로 판단할 수 있다. 차량 관점의 변동성은 주파수 도메인으로 생성된 Fig. 10의 오른쪽 2D 데이터를 Keras⁽¹⁵⁾ ImageData-Generator 클래스의 width_shift_range를 0.02로 설정하여 좌우로 최대 7 Hz의 위치 이동하여 변동을 고려하여 차량 각 부분의 공진주파수 차이 고려하였으며 주파수성분의 크기에도 ±3 %의 변동을 추가하여 차량간에 발생하는 반응량의 차이를 반영하였다.

4. 차량 샤시 시스템 결함 종류 및 위치 진단

4.1 고장 부위에 따른 차량 진동 분석

Fig. 11과 Fig. 12는 차량의 정상 조건 및 각 부위에 결함이 발생하였을 경우 차량의 프론트 왼쪽 및 리어 오른쪽 쇽타워 부위에서 측정한 Z방향 데이터를 비교하였다. 주로 80 Hz ~ 150 Hz 대역에서 각 부위의 결함에 의한 주파수 성분 차이가 보이고 있으나 로워 콘트롤암과 같이 비교적 크기가 작은 파트의 경우 및 댐퍼가 프론트 및 리어 쇽타워에 연결되는 부위와 같이 연결 강성이 상대적으로 높은 경우 200 Hz ~ 250 Hz 대역에서도 차이를 보이고 있기 때문에 관심 주파수 대역을 350 Hz까지 설정하였다. 차량 서스펜션 부품 중에 토션빔(torsion beam) 형태의 리어 액슬(rear axle)의 결함을 판별하는 유사한 연구⁽¹⁶⁾가 있었으나 주로 50 Hz 이하의 주파수 성분에 영향을 미칠 수 있는 결함을 다루었기 때문에 비교적 검출이 용이하였을 것으로 판단된다.

Fig. 11

Vehicle vibration data measured at front left shock tower: normal and 8 fault cases

Fig. 12

Vehicle vibration data measured at rear right shock tower: normal and 8 fault cases

동일한 부위의 결함이라도 왼쪽 및 오른쪽 로워 콘트롤 암과 같이 고정된 측정위치 대비 상대적으로 다른 위치로 인해 전달함수(transfer function)가 다르기 때문에 측정된 진동의 경향이 다를 수 있다. 예를 들어 Fig. 11의 그래프 (a), (b)와 같이 핸들링 부쉬에서 발생한 결함을 차량 왼쪽 쇽타워에서 측정한 경우 왼쪽 핸들링 부쉬에서 발생한 진동은 80 Hz, 110 Hz그리고 230 Hz대역이 정상조건과 다르나 오른쪽 핸들링 부쉬에서 발생한 진동은 110 Hz 그리고 230 Hz대역이 정상 조건과 다른 것을 볼 수 있다. 이러한 현상을 이용하여 측정점의 위치가 결함위치와 일치하지 않더라도 결함의 위치를 파악할 수 있다.

4.2 고장 부위 및 종류 판별 성능 – 측정 지점 개수

앞에서 설명한 데이터를 사용하여 Table 3와 같이 우선 차량 속도 및 결함 종류 측면에서 테스트 데이터의 도메인이 훈련 데이터의 도메인에 모두 포함된 경우 차량의 가속도 측정지점 개수를 4개 및 2개로 줄여가면서 Fig. 4에서 설명한 3개 딥러닝 구조에 대해 평가하였다. Fig. 13은 측정지점이 Fig. 6과 같이 4개 지점이고 Fig. 14는 프론트 쇽타워 왼쪽 및 리어 쇽타워 오른쪽의 2개 지점에서의 데이터를 사용한 결함 종류 및 위치 판별 정확도 결과이다. 여기서 SNR은 3.2절에서 설명한 서로 다른 도로조건의 변동을 반영하기 위해 추가한 노이즈이며 0, 5, 10, 15를 사용하였다.

Table 3

Setting for performance validation of measurement points number

Fig. 13

4 measurement points, same target/source domain

Fig. 14

2 measurement points, same target/source domain

4개 지점 데이터를 사용한 Fig. 13의 경우 SNR이 0인 조건에서는 다소간에 차이는 있으나 비교 대상인 3개의 딥 네트웍 모두 92 % 이상의 정확도를 보이고 있다. 2개 지점 데이터를 사용한 Fig. 14의 경우 SNR가 0 및 5와 같이 상대적으로 노이즈가 많은 환 경에서 성능저하가 발생함을 볼 수 있으나 DNI-ResNet이 일반 CNN보다 4.7 % 가량 성능이 개선됨을 확인할 수 있다.

4.3 고장 부위 및 종류 판별 성능 – 차량 속도에 대한 도메인 적응

제안한 DSI-ResNet의 도메인 적응력을 판단하기 위해 Table 4와 같이 타겟 도메인에서 사용하려는 55 kph 데이터를 다른 속도의 훈련 데이터 대비 1/4 또는 1/8수준의 적은 량의 데이터를 사용하여 훈련시키고 55 kph에서의 결함 판별 성능을 검토해 보았다.

Table 4

Setting for performance validation of domain adaptation – vehicle speed

Figs. 15, 16과 같이 다른 속도 조건에 대한 정확도는 Fig. 13의 결과와 비교 시 3 % ~ 11 %가량 저하되었으나 DNI-ResNet의 성능이 가장 우수하며 SNR 5 이상의 경우 정확도가 92 %이상이다.

Fig. 15

4 Measurement points, only 100 data samples of 55 kph used in source domain

Fig. 16

4 Measurement points, only 50 data samples of 55 kph used in source domain

4.4 고장 부위 및 종류 판별 성능 – 차량 속도 및 새로운 결함에 대한 도메인 적응

4.3절에서 검토한 다른 차량속도에 새로운 결함을 타겟 도메인에 추가하여 전체 두 가지 변수에 대한 도메인 적응력을 성능 비교를 하였다.

4.2절 및 4.3절에서 사용한 결함은 위치 및 종류를 감안한 9가지였으나 4.4절에서는 Table 2의 4 class의 경우와 같이 앞에 사용한 결함을 사용하되 결함의 종류는 관계없이 위치별로 결함을 통합하여 프론트/리어, 왼쪽/오른쪽의 4개로 변경하였고 이에 대한 정확도를 Fig. 17에 정리하였다. Fig. 13의 9가지 결함에 따른 정확도와 비교하였을 때 성능 저하는 거의 없음을 확인할 수 있다.

Fig. 17

4 measurement points, source/target domain is same (class no. 4)

새로운 결함을 추가하여 도메인 적응 성능을 판단하기 위해 타겟 도메인에만 Fig. 7의 9, 10번 위치 즉, 로워 콘트롤암의 뒤쪽을 연결하는 라이드 부쉬의 결함을 기존에 사용하였던 1, 3번 위치 결함 대신사용하였고 Table 5와 같은 방법으로 성능을 검토하였다. Fig. 18에 이에 따른 정확도를 비교하였으며 제안한 DNI-ResNet이 다른 네트웍보다 상대적으로 개선된 성능을 보여주는 것을 확인하였다.

Table 5

Setting for performance validation of domain adaptation – new fault

Fig. 18

4 Measurement points, source/target domain is different (class no. 4) – in source domain, no new type fault data

이에 추가하여 4.3절과 같이 훈련데이터에 적은 수의 타겟 도메인 데이터 갯수를 사용하여 Table 6과 같이 평가해보았으며 Fig. 19와 같이 4 % ~ 5 %정도 정확도가 감소되었으나 전반적으로 SNR이 낮은 악조건에서 DNI-ResNet이 상대적으로 좋은 성능을 보이고 있는 것으로 확인되었다.

Table 6

Setting for performance validation of domain adaptation – vehicle speed and new fault

Fig. 19

4 Measurement points, source/target domain is different (class no. 4) – in source domain, no new type fault data and Small number of 55 kph data are used

5. 결 론

개선된 DNI-ResNet과 차량의 거친 길 주행 시차량에서 발생하는 진동 데이터를 이용하여 차량 샤시 시스템 결함의 위치를 판별하였다.

훈련, 검증 및 테스트 데이터는 차량의 물리모델을 사용하였고 진동 데이터는 판별해야 할 결함 위치의 개수보다 적은 위치에서 수집되었다.

실제 도로 조건 및 차량간에 발생할 수 있는 변동을 반영하기 위해 도로표면, 차량 각 시스템의 공진 주파수 및 차량간에 발생하는 반응량의 차이를 고려하여 노이즈를 추가한 데이터를 생성하였다. 차량의 각 위치에서 수집한 시간 도메인의 데이터를 주파수 도메인으로 변환하고 각 데이터의 공간 및 방향정보를 반영하기 위해 2차원 형태로 변환하였다.

일반 CNN, ResNet 그리고 DNI-ResNet을 사용하여 학습 및 테스트 데이터의 도메인이 같은 경우와 다른 경우에 대해서도 성능을 비교하였다.

다른 속도 및 새로운 위치/종류의 결함을 테스트 데이터에만 사용하여 학습되지 않은 데이터에 대한 도메인 적응 성능을 비교하였으며 DNI-ResNet이 모든 조건에서 상대적으로 좋은 성능을 보이는 것으로 확인되었다.

추후 GAN⁽¹⁷⁾을 기반으로 한 도메인 변환(domain transformation) 및 d-SNE⁽¹⁸⁾ 등을 이용한 잠재공간 변환(latent-space transformation) 등을 적용하여 도메인 적응 성능을 개선할 예정이다.

Acknowledgments

이 성과는 2019년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2019R1A2B5B02069400).

References

• Zhao, M., Kang, M., Tang, B. and Pecht, M. 2018, Deep Residual Networks With Dynamically Weighted Wavelet Coefficients for Fault Diagnosis of Planetary Gearboxes, IEEE Transactions on Industrial Electronics, Vol. 65, No. 5, pp. 4290~4300. [https://doi.org/10.1109/TIE.2017.2762639]
• Du, Y., Wang. A., Wang, S., He, B. and Meng, G., 2020, Fault Diagnosis Under Variable Working Conditions Based on STFT and Transfer Deep Residual Network, Shock and Vibration, Vol. 2020, pp. 1~18. [https://doi.org/10.1155/2020/1274380]
• Zhen, D., Guo, J., Xu, Y., Zhang, H. and Gu, F., 2019, A Novel Fault Detection Method for Rolling Bearings Based on Non-stationary Vibration Signature Analysis, Sensors, Vol. 19, No. 18, Article no. 3994. [https://doi.org/10.3390/s19183994]
• Peng, D., Liu, Z., Wang, H., Qin, Y. and Jia, L., 2018, A Novel Deeper One-dimensional CNN with Residual Learning for Fault Diagnosis of Wheelset Bearings in High-speed Trains, IEEE Access, Vol. 7, pp. 10278~10293. [https://doi.org/10.1109/ACCESS.2018.2888842]
• Kim, S. W. and Lee, S. K., 2021, Health Monitoring of Power Driving System Using Sound Signal Based on Deep Learning, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 31, No.1, pp. 47~56. [https://doi.org/10.5050/KSNVE.2021.31.1.047]
• Abdeljaber, O., Avci, O., Kiranyaz, S., Gabbouj. M. and Inman, D. J., 2017, Real-time Vibration-based Structural Damage Detection Using One-dimensional Convolutional Neural Networks, Journal of Sound and Vibration, Vol. 388, pp. 154~170. [https://doi.org/10.1016/j.jsv.2016.10.043]
• He, K., Zhang, X., Ren, S. and Sun, J., 2016, Deep Residual Learning for Image Recognition, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770~778. [https://doi.org/10.1109/CVPR.2016.90]
• He, K., Zhang, X., Ren, S. and Sun, J., 2016, Identity Mappings in Deep Residual Networks, In European Conference on Computer Vision, pp. 630~645. [https://doi.org/10.1007/978-3-319-46493-0_38]
• Huang, G., Liu, Z., Van Der Maaten, L. and Weinberger, K. Q., 2017, Densely Connected Convolutional Networks, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4700~4708. [https://doi.org/10.1109/CVPR.2017.243]
• LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W. and Jackel, L. D., 1989, Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, Vol. 1, No. 4, pp. 541~551. [https://doi.org/10.1162/neco.1989.1.4.541]
• He, K., Zhang, X., Ren, S. and Sun, J., 2016, Identity Mappings in Deep Residual Networks, In European Conference on Computer Vision, Springer, Cham, pp. 630~645. [https://doi.org/10.1007/978-3-319-46493-0_38]
• Simonyan, K. and Zisserman, A., 2014, Very Deep Convolutional Networks for Large-scale Image Recognition, arXiv preprint arXiv:1409.1556, .
• He, K., Zhang, X., Ren, S. and Sun, J., 2015, Delving Deep into Rectifiers: Surpassing Human-level Performance on Imagenet Classification, In Proceedings of the IEEE International Conference on Computer Vision, pp. 1026~1034. [https://doi.org/10.1109/ICCV.2015.123]
• Kingma, D. P. and Ba, J., 2014, Adam: A Method for Stochastic Optimization, arXiv preprint, arXiv:1412.6980, .
• Chollet, F. et al., 2015, Keras, Available at: https://github.com/fchollet/keras, .
• Luo, H., Huang, M. and Zhou, Z., 2019, A Dual-tree Complex Wavelet Enhanced Convolutional LSTM Neural Network for Structural Health Monitoring of Automotive Suspension. Measurement, Vol. 137, pp. 14~27. [https://doi.org/10.1016/j.measurement.2019.01.038]
• Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A. and Bengio, Y., 2014, Generative Adversarial Nets, Advances in Neural Information Processing Systems, Vol. 27, arXiv:1406.2661, .
• Xu, X., Zhou, X., Venkatesan, R., Swaminathan, G. and Majumder, O., 2019, D-sne: Domain Adaptation Using Stochastic Neighborhood Embedding, In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2497~2506. [https://doi.org/10.1109/CVPR.2019.00260]