음향데이터 활용한 AI기반 전기차 인휠모터 상태 진단기술 개발

2.1 인휠모터 외부 음향데이터 수집

인휠모터 상태진단을 위해서는 차량 주행상태에서 다양한 데이터를 수집하는 것이 중요하다. 정상상태, 이상상태 유형별 데이터를 수집 및 생성하여 진단모델의 학습데이터로 사용하기 때문에 수집조건을 정의하고 데이터를 수집하였다.

첫 번째 단계로 주행모드를 정의하였다. 실도로 주행 조건을 고려하여 저부하 주행, 가속 추월 조건을 고려하여 중부하, 전부하 주행으로 정의하고 최고속도 범위는 100 KPH로 한정하였다. Table 1은 시험모드에 대한 정의를 나타낸다. 두 번째 단계로 인휠모터 진단을 위한 음향데이터 수집 설정이다. 인휠모터는 타이어 휠 내부에 모터가 장착되는 시스템으로 주행 중 차량에 동력을 전달하는 구동모터 즉, 인휠모터가 장착된 각 휠 위치에서 모터 구동 음향데이터가 발생된다.

Table 1

In-wheel motor vehicle acoustic data collection conditions

주행 조건에서 발생하는 인휠모터 데이터 신뢰성을 고려하여 전륜, 후륜 근접 위치에 지향성 마이크로폰을 장착하고, 주행 중 발생하는 저주파 풍절음의 영향을 최소화 하기 위해 윈드쉴드(wind shield)를 장착하여 Fig. 2와 같이 음향데이터 측정조건을 구성하였다.

Fig. 2

Test setup for acoustic data collection

Table 1과 같이 구성된 조건에서 측정한 음향데이터의 주파수 특징을 분석하였다. Fig. 3 분석결과는 중부하 주행 조건에서 측정한 전륜, 좌측 음향데이터의 주파수 특징을 분석한 것이다. 200 Hz 이하는 주행 중 발생하는 저주파 풍절음과 노면 소음의 특징이며, 200 Hz ~ 800 Hz 대역 화인소음(whine noise)은 이상상태 조건의 인휠모터 구동시 발생하는 특징이다. 1.2 kHz ~ 1.8 kHz 대역 고주파 소음은 인휠모터 회전의 하모닉 성분과 시스템 공진의 특징을 나타낸다.

Fig. 3

In-wheel motor acoustic data frequency characteristic analysis results

이 연구에서는 차량 주행 상태에서 수집한 인휠모터의 각 근접 음향데이터를 기반으로 이상상태 조건을 정의하였고, 정상상태에 대해서는 시스템 주파수 특징을 변형하여 학습 및 평가 데이터셋을 증폭 (augmentation)후, 딥러닝 모델 개발에 사용하였다. Fig. 4는 audacity filter 적용하여 각 채널 별 특정 주파수 대역(band pass)을 정상상태 특징으로 저감하는 과정에 대한 신호처리를 나타내고 있다.

Fig. 4

Applying audacity filter using Python code to change sound pressure

2.2 인휠모터 음향데이터 수집 장치

주행조건에서 각 인휠모터 별 상태 진단 및 위치추정을 위해 다중채널 마이크 배열 모듈이 필요하다. 마이크 신호 채널 1개만으로는 위치추정이 불가능하기 때문에 이 연구에서 목적하는 성능을 발휘할 수 없으므로, 인휠모터의 상태진단 및 위치추정을 위한 7채널 마이크 배열 모듈을 개발하였다. 다중채널 마이크 배열의 원리는 Fig. 5와 같이 설명 가능하다. 원형타입의 배열 특징으로는 모듈을 기준으로 전방, 후방, 측방의 음향 이벤트 발생된 음원의 위치추정이 가능한 것이다.

Fig. 5

Event location estimation process using multi-channel microphone input signals

소리의 전파속도인 음속에 의해 음원 도달 시간차 TDOA(time difference of arrival)를 적용하였다. 즉, 인휠모터의 소음이 다른 위치에 설정된 마이크에 도달하는 시간차이와 위상차이를 이용하여 위치를 추정하는 원리이다. 일반적으로 선형 마이크 배열을 구성하여 사용하는데, 이 경우 음향신호에 대한 명확도 성능은 우수하지만, 한쪽 방향의 음원 발생위치만 추정 가능하므로, 이 연구에서는 360도 전방위 탐지가 가능하고, 측정된 소음데이터의 잡음제거가 용이한 원형타입 마이크 배열을 적용하였다.

다중채널 마이크 배열 구조 설정조건 첫 번째는 마이크 간의 간격, 두 번째는 목적에 맞는 배열구조 이다. 인휠모터의 경우 차량 상부위치에서 전,후, 좌,우 대칭으로 위치한다. 홀수 마이크 개수로 구성 하고, 대칭구조로 설계가 필요하다. Fig. 6은 3가지 간격 설정이 가능하도록 구성한 설계를 나타낸다.

Fig. 6

Multi-channel Mic. array PCB board design

마이크 간의 간격에 따른 측정 가능한 주파수 대역 수식은 식 (1)로 정의된다, 즉, 5 kHz 대역까지의 데이터가 필요한 경우 식 (1)을 통해 마이크 간의 간격을 3.2 cm로 설정하면 된다^(1,2).

$$ d$$: distance between mic arrays
$$ {\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}$$: wavelength of source

이 연구에 필요로 하는 주파수 대역은 5 kHz 이하 이므로, 나이퀴스트(Nyquist) 이론으로 10 kHz 주파수를 적용하면 2.8 cm ~ 3.2 cm 간격이 요구됨을 알 수 있다. Fig. 7은 7개의 마이크를 세 가지 등간격으로 가변 가능하도록 설계한 모듈을 나타낸다.

Fig. 7

Design of three type microphone array structures and measurement module

2.3 음향데이터 수집 모듈 최적화

인휠모터 상태진단 및 위치추정 모델연구를 위해 다중채널 마이크 배열 인자인 마이크 센서 간의 간격 최적화를 진행하였다. 최적화를 위해 시험차량 제원을 반영한 공간을 설정하였고, phyroomacoustics 코드를 이용한 시뮬레이션을 통해 마이크 간격변화 영향도를 분석하였다. Fig. 8과 같이 차량 공간에 음향 발생부를 각 인휠모터 위치에 배치하고, 차량 상부에 7채널 마이크 모듈을 설정하여 인휠모터 음향데이터를 재생하고, 동시에 녹음이 가능 하도록 시뮬레이션을 구성하였다. 실제 차량 상황과 최대한 유사한 환경으로 구현하기 위함이다. 또한, 마이크의 간격 최적화를 위해 공간의 재질과 반향을 고려 하여 시뮬레이션 환경을 설정하였다.

Fig. 8

Structure optimization process of microphone array by simulation

각 위치에서 유형별 인휠모터 근접 음향데이터를 재생하고 데이터를 수집하였다. 시뮬레이션을 위한 조건으로는 4개의 인휠모터 위치에서 랜덤으로 1개의 이상소음 데이터를 재생하고, 나머지 3개의 위치에서는 정상소음 데이터를 재생시켰다.

데이터를 이용하여, CRNN(convolutional recurrent neural network) 딥러닝 모델의 결과를 도출했으며, 모듈의 마이크는 7개, 마이크 간격 3.2 cm 조합에서 93 %의 정확도를 나타냈다. 이는 식 (1)의 결과와 동일하였다. Fig. 9는 마이크 최적화 선정을 위한 CRNN 모델구조와 정확도 검증 결과를 보여준다.

Fig. 9

CRNN baseline model for in-wheel motor abnormal noise location estimation

사용된 CRNN 모델은 딥러닝 기반 음향 이벤트의 위치추정 결과에서 매우 우수한 성능을 나타낸다. 즉, CNN(convolutional neural network) 모델의 장점과 RNN(recurrent neural network) 모델의 장점을 모두 이용하여 성능의 최적화가 가능하다. CRNN 모델의 출력값은 인휠모터를 진단하는 것으로 휠별 클래스(FR, FL, RR, RL)로 설정하여 학습을 진행하였다.

2.4 이상상태 위치추정 학습 데이터

차량에서 수집된 고성능 마이크 음향데이터의 주파수 분석결과를 이용하여, 인휠모터의 정상상태와 이상상태 조건으로 정의하였으며, 진단 모델의 학습을 위해 재측정 및 데이터 증폭을 진행하였다.

인휠모터의 상태진단 및 음원 위치추정을 위한 마이크 모듈을 차량상부에 장착하고, 인휠모터 위치에 음향 재생이 가능한 고출력 스피커 시스템을 Fig. 10과 같이 구성하였다. 인휠모터 차량에서 수집된 음압과 동일한 레벨 음압으로 재생되도록 스피커의 출력 게인(gain) 값을 설정하여 재수집된 데이터의 신뢰도를 높였다.

Fig. 10

Train data collection process for sound source location estimation AI model

인휠모터의 이상상태 유형은 2개의 주파수 대역으로 설정하였으며, 각 주파수 대역에 band pass filter 적용을 Table 2와 같이 정의하였다. 복합 이상상태 조건을 고려해 2개의 주파수 대역이 모두 증가하는 조건도 포함하여 진단모델 학습 데이터로 구성했다.

Table 2

Acoustic data modification conditions by in-wheel motor location

정상상태와 24개 조합의 이상상태에 대한 음향 데이터를 수집하였으며, 3개 주행모드 특징을 반영 하여 총 75개 조합으로 학습데이터를 생성하였다. 데이터는 전부하 가속 9.5초, 중부하 가속 14.5초, 저부하 가속 25초로 전처리하여 전체 학습 데이터 셋은 주행 모드별로 각각 1시간 분량씩 확보하였다.

또한, 주행 중 외란을 제거하기 위해서 다중채널 마이크 모듈을 장착하고, 주행시험에서 주행모드별 저주파 풍절음을 수집하였다. 데이터를 분석한 결과 저주파 풍절음에 대한 주파수 대역은 200 Hz 이하로 확인되었고, 학습데이터 전처리를 통해 200 Hz이하 대역을 제거한 후, 진단 모델에 적용했다.

Fig. 11은 저주파 풍절음 주파수 대역 제거를 위해 적용된 3order butterworth filter와 다중채널 모듈 채널간 입력 음향신호 차이를 이용한 수집과정을 나타낸다. 저주파 풍절음은 차량 속도와 비례하게 수집되는 잡음(noise) 성분이다. 이 성분은 이상상태 위치추정 모델의 정확도를 위해 제거가 필요하다.

Fig. 11

Filter application to remove wind noise and sound source location process

이를 위해 중앙 마이크와 주변 마이크 간의 신호 차이를 이용한 특징 추출을 사용하여 효과적으로 제거하고, 특정 방향에 발생하는 인휠모터의 음향 데이터에 민감한 특징만 식 (2)로 추출하여 모델의 성능을 향상시킬 수 있다.

$$ x_i\left(t\right)$$: measured signal by microphone
$$ s_i\left(t\right)$$: acoustic signal with direction
$$ w\left(t\right)$$: wind noise signal

다중채널 마이크 모듈 중앙에 위치한 마이크 $$ {\mathrm{M}}_0$$와 주변 마이크 $$ {\mathrm{M}}_{\mathrm{i}}$$ 입력신호 차이를 계산하면 식 (3)과 같이 나타낼 수 있다. 이때 저주파 풍절음 성분인 $$ w\left(t\right)$$는 모든 마이크에 동일한 특징으로 감지되므로 상쇄가 가능하다. 저주파 풍절음 상쇄를 통해 다중채널 마이크 모듈로 수집되는 데이터는 특정 방향에서 발생되는 인휠모터의 정보만 사용 하여 위치추정 모델의 정확도가 향상된다.

이 연구에서는 7채널의 마이크 배열 중, 중앙에 위치한 1개 채널 제외한 등간격 6개 마이크 채널에 전처리된 입력신호의 시간차이와 위상차이 정보를 이용하여 위치추정 모델에 사용하였다.

2.5 음향 발생위치 추정 모델 개발

인휠모터 이상상태 발생위치 추정 정확도 향상을 위해 CRNN으로 구성한 베이스라인 모델을 기반 으로 진단성능 고도화를 진행하였다. 저주파 성분을 제거한 입력신호로부터 GCC-PHAT(generalized cross correlation-phase transform) 특징벡터를 추출하였다. GCC-PHAT는 다중채널 마이크 배열에서 측정되는 데이터의 잡음과 음향신호 영역에 대해서 신호처리 하고, 강조된 음향신호와 위상차이 정보를 이용하여 시간지연 특징을 추출하는 방법이다. 또한, 모델의 성능 향상을 위해 CNN레이어 대신 D3 block 레이어를 적용하였다. D3 block은 음원의 소스 분리를 위해 설계된 딥러닝 모델로 DenseNet과 dilated convolution의 결합을 통해 다중 해상도 데이터를 동시에 모델링 하는 방법이다.

기존 CNN 레이어의 경우 고정된 필터를 사용하는데, D3block 레이어의 경우 dilation rates를 사용하여 다양한 크기의 필터를 포괄하고, 특징 추출을 하기 때문에 서로 다른 공간의 해상도 정보를 동시에 활용 가능한 장점이 있다. Fig. 12는 여러 개의 dilated convolution을 이용하여 서로 다른 공간의 특징벡터 정보를 동시에 활용하는 과정 흐름을 나타낸다.

Fig. 12

Process using dilated convolution and defects in DenseNet structure

D3 block으로 구성된 D3Net 모델은 각 레이어 출력정보를 다음 레이어에 직접 연결하여 시간에 따른 정보흐름을 유지하는 DenseNet 알고리즘과 여러개 레이어로 광대역 정보를 전달하는 dilated convolution 알고리즘의 조합으로 고도화했다.

Fig. 13은 이 연구의 성능향상을 위해 고도화된 이상상태 진단과 위치추정의 모델구조를 나타낸다. 여러 개의 D3 block로 구성이 되며, 각 block은 성능 최적화된 크기의 필터를 적용하여, 입력데이터 에서 다중 해상도의 특징추출이 가능했다. 여기에 다중 스케일 필터를 적용하여 입력데이터에 대한 여러 차원의 특징을 동시에 분석하여 다양한 해상도의 특징을 결합하게 구성하였다. 위치추정을 위해 모델 후단에 시계열 데이터의 시간적 의존성 특징학습을 위한 TFRNN(time-frequency recurrent neural network), LSTM(long shot time memory) 알고리즘을 적용 하였다.

Fig. 13

Location estimation AI diagnosis model structure

개발 알고리즘을 통해 다중채널로 입력되는 음향 데이터의 시간축 특징을 효과적으로 학습하였으며, 최종 fully connected 레이어를 통해 이상상태가 발생 하는 인휠모터 위치추정의 성능을 대폭 향상시켰다.

인휠모터 이상상태 발생위치 추정 모델 정확도에 대해서 최적의 성능 확보를 위해서 다양한 형태로 변형된 모델을 추가하여, 각각의 모델별 성능을 Table 3과 같이 비교하였다.

Table 3

Diagnostic accuracy results for each location estimation model[unit: accuracy (%)]

초기 마이크 모듈 개수, 간격 최적화에 사용한 CRNN 모델과 고도화 연구를 통해 수립한 D3 block 모델을 적용한 결과, D3Net + LSTM 적용한 모델에서 90 % 정확도를 확보하였다.

2.6 인휠모터 이상상태 발생 위치추정 성능

이 논문에서 연구된 이상상태 발생위치 추정을 위한 다중채널 마이크 모듈을 Fig. 14와 같이 차량 상부에 장착하고, 인휠모터의 정상상태와 이상상태 음향신호를 각 인휠모터 위치에 스피커를 장착하여 평가 조건을 구성하였다. 주행 중 1개의 인휠모터 이상소음 음향데이터를 랜덤으로 지정하여 재생 하면서, 개발된 D3Net 모델로 이상상태 위치추정을 추론하였다. 주행조건은 데이터를 수집한 것과 동일 하게 전부하, 중부하, 저부하 가속주행으로 100 KPH 이하로 진행하였고, 이때, 발생하는 저주파 풍절음 역시 평가 데이터로 반영되어 이상상태 진단 및 발생 위치추정에 대한 성능평가를 진행하였다.

Fig. 14

Installation of multi-channel Mic. module

최종 평가결과는 Table 4로 요약하였다. 저부하, 중부하 조건에 인휠모터 이상상태 위치추정 결과 정확도는 95 % 이상 수준이었으며, 전부하 고속주행 조건에서 90 %의 정확도를 보여줬다.

Table 4

Results of location of abnormal condition through vehicle evaluation

고속주행 조건에서 차량의 상대속도와 비례하게 유입되는 저주파 풍절음과 로드 노이즈 영향이 인휠모터의 이상상태 발생위치 진단 성능 정확도에 영향을 준 것으로 판단된다. 즉, 강한 저주파 풍절음과 빠른 차량 가속도로 인해 전방보다 후방 인휠모터의 음향 데이터가 위치추정 모델 진단 정확도에 불리하게 작용한 것이지만, 그럼에도 불구 하고 이상상태 위치추정 정확도가 90 % 이상으로 높은 진단 성능을 확인할 수 있었다.

일반적인 실도로 주행조건은 전부하 주행영역보다 저부하, 중부하 주행 조건이 차지하는 비중이 많기 때문에 이 연구를 통해 개발된 진단 모델의 결과는 주행 중 인휠모터의 상태를 모니터링 하며 실시간 이상상태 진단 및 발생위치 정보를 제공하여 고장, 사전 예방정비가 가능하다는 것을 확인하였다.