실험에 쓰인 차량은 스테빌라이저에 이상이 있는 차량이며 노면으로부터 임팩트성 가진이 발생하면 덜컥거리는 이상소음이 발생하였다.

이러한 차대 내 주요 부품의 고장 소음에 대한 특성을 조사하고 빅 데이터를 수집하는 것이 데이터 취득의 주요 목적이다. 따라서 정성 평가를 위해 운전석 귀 부분, 운전석 무릎 부분, 엔진룸(RH), 엔진룸(LH) 총 4군데에 마이크로폰을 부착하여 소음 데이터를 취득하였고, 주요 부품으로 선정된 캡스프링(LH) 하단, 캡스프링(LH) 상단 body, 캡스프링(RH) 하단, 캡스프링(RH) 상단 body, 스테빌라이저(LH), 스테빌라이저(LH) 브라켓, 스테빌라이저(LH) 힌지, 스테빌라이저(RH) 브라켓, 스테빌라이저(RH) 힌지, 캡틸딩 실린더(RH), 운전석 시트 총 11군데에 가속도계를 부착하여 진동 데이터를 취득하였다. 평가를 위해 도심의 일반도로, 고속도로 및 국도를 주행하며, 주행 중 감속, 가속, 정속 상황에서의 소음·진동 데이터를 SIEMENS사의 scadas mobile DAQ 장비를 이용하여 측정하였고 simcenter testlab을 통해 데이터 처리 작업을 진행하였다.

정성 평가는 완성차 업체에서 소음·진동 평가 경력 25년 이상의 전문가 2인이 이상소음의 크기나 음색을 기준으로 정성 평가 점수를 판정하는 방식으로 실시되었다. 최종적으로 두 전문가의 점수의 평균으로 각 데이터별 정성 평가 점수가 판정되도록 하였다. 각 전문가는 5 ~ 8점의 정수로 평가를 진행하였으며, 이를 평균함으로써 5.5, 6.5, 7.5 등의 정수가 아닌 유리수가 포함되어 결과적으로 최종 평가 점수는 Table 1과 같이 7등급으로 분류되었다.

Table 1에서 볼 수 있듯이, 전문가 2인의 정성 평가 결과, 각 등급별로 5.0점에는 14건, 5.5점에는 28건, 6.0점에는 53건, 6.5점에는 53건, 7.0점에는 39건, 7.5점에는 22건 그리고 8.0점에는 2건으로 총 이상소음의 발생 건수는 211건으로 평가되었다.

이러한 정성 평가 결과에 대해 노면상태, 주행조건 그리고 단일음 및 연속음에 따른 상관성을 검토하였다. 상관성 검토를 위해 Microsoft Excel의 추세선을 이용하였고, 결정계수 R²이 1에 가까울수록 상관성이 좋은 것으로 판단하였다.

Fig. 1은 각 노면 상태에 따른 음압 데이터의 분포와 그에 따른 추세선 그래프이다. 도심 일반도로, 고속도로, 국도에 대해 데이터를 측정하고 분류하였다. 추세선의 결정계수는 도심 일반도로의 경우 0.8703, 고속도로는 0.8445, 국도는 0.8053으로 도심 일반도로에서의 결정계수가 1에 가장 가까움을 볼 수 있고, 따라서 아스팔트 노면 상태인 도심 일반도로에서 상관성이 좋은 것으로 판단된다.

Fig. 1 
Correlation scatter plots between qualitative evaluation and measured sound pressure at the driver’s ear location for each road

Fig. 2는 각 주행 조건에 따른 음압 데이터의 분포와 그에 따른 추세선 그래프이다. 정속, 감속, 가속 상태에 대해 데이터를 측정하고 분류하였다. 추세선 확인 결과, 정속 조건의 결정계수는 0.8648, 감속 조건에서는 0.8421, 가속 조건에서는 0.8109로 정속 조건에서의 상관성이 가장 높은 것을 확인할 수 있다. 가속 및 감속 시에 발생하는 럼블 및 화인성 소음과 가진주파수 변동으로 인한 음색 변화로 인해 정성 평가 점수의 상관성에 영향을 주는 것이라 추정된다. Fig. 3에서 볼 수 있듯이 가속 조건과 정속 조건에서의 colormap에 차이가 있음을 알 수 있고, 럼블성 소음에 의해 정성 평가 점수가 2.3절에서 후술할 데이터 평가 점수에 비해 낮음을 알 수 있다.

Fig. 2 
Correlation scatter plots between qualitative evaluation and measured sound pressure at the driver’s ear location for each driving condition

Fig. 3 
Time-frequency response of measured sound pressure according to each driving condition

Fig. 4는 단일음 및 연속음에 따른 정성 평가 상관성 검토 그래프이다. 평가된 이상소음이 단일적으로 발생한 경우에 단일음, 연속적으로 발생한 경우에 연속음으로 분류하였다. 추세선 확인 결과, 단일음의 결정계수는 0.8572, 미약한 연속음은 0.8239, 연속음은 0.8046으로 발생하는 이상소음은 단일음 대비 연속음의 정성 평가 상관성이 낮은 것을 확인할 수 있다.

Fig. 4 
Correlation scatter plots between qualitative evaluation and measured sound pressure at the driver’s ear location according to single and continuous sounds

량 평가는 정성 평가에서 소음등급이 결정된 소음 데이터를 이용하여 진행되었다. 이는 정성적으로 이루어진 음질 평가가 정량적으로 평가된 결과와의 관계를 비교하고 상관성을 검토하기 위함이다. 먼저, 이상소음이 발생될 때의 시간데이터를 잘라 주파수 분석하였다. Fig. 5와 같이 스테빌라이저(LH) 측에서 14 Hz의 임팩트성 가진이 발생함을 확인할 수 있다.

Fig. 5 
Measured accelerations in frequency domain

이후, 이상소음의 발생 주파수 분포를 확인하였다. Fig. 6과 같이 운전석에서의 소음 데이터의 colormap을 통해 113 Hz ~ 196 Hz, 232 Hz ~ 296 Hz, 302 ~ 372 Hz, 422 Hz ~ 494 Hz, 그리고 502 Hz ~ 590 Hz에서 소음이 분포됨을 확인할 수 있었고, 이러한 주파수 영역을 기준으로 정성 평가에서 이상소음이 발생된 총 211건에 대해 소음 데이터의 주파수별 응답 최댓값의 분포를 확인하였다. Table 2에서 볼 수 있듯이 113 Hz ~ 196 Hz의 주파수 영역에서 35건, 232 Hz ~ 296 Hz에서 149건, 302 Hz ~ 372 Hz에서 10건, 422 Hz ~ 494Hz에서 15건, 502 Hz ~ 590 Hz에서 2건으로 대부분 200 Hz ~ 300 Hz에서 발생됨을 확인할 수 있었다. 이를 실내소음 기준 최댓값을 7등분으로 나눈 뒤 정성 평가와 동일하게 5 ~ 8점 사이에 7개의 등급으로 분류한 결과, Table 1과 같이 5.0점에는 6건, 5.5점에는 14건, 6.0점에는 30건, 6.5점에는 62건, 7.0점에는 59건, 7.5점에는 33건, 8.0점에는 7건으로 분류됨을 확인하였다. 이를 Fig. 7과 같이 분류된 정성 평가, 정량 평가 데이터의 분포를 비교하였을 때, 정성 평가 결과에 의한 점수는 정량 평가와 상관성이 높으나 판단오차가 발생되는 것으로 보인다. 또한 정성 평가의 경우, 낮은 등급에 다수의 데이터가 분포됨을 통해 이상소음에 대한 정성 평가에서는 저평가하는 경향이 있는 것으로 판단된다.

Fig. 6 
Colormap of the distribution of frequencies where abnormal noise is generated

Fig. 7 
Graph of comparison quatitative evaluation with qualitative evaluation

마지막으로 각 등급별 소음 데이터의 colormap 이미지를 추출하여 확인한 결과, Fig. 8에서 볼 수 있듯이 주파수 도메인에서의 최댓값을 이용한 기준점수가 각 colormap과 연관성이 있음을 확인할 수 있다. 이러한 colormap 이미지와의 상관성을 통해 다음 장에서 CNN 딥 러닝의 상관성 및 타당성을 조사하고자 한다.

Fig. 8 
Time-frequency responses of acoustic data with corresponding qualitative score

CNN(convolutional neural networks)⁽¹⁷⁾은 주로 이미지나 영상 데이터를 처리할 때 쓰이는 알고리즘이다. 앞선 정성·정량 평가를 통해 알 수 있듯이 도출되는 colormap 이미지가 육안으로 보기에도 이상소음의 등급에 따라 차이가 발생하는 것을 확인할 수 있었고, 따라서 이미지를 인식하고 패턴을 찾는 것에 유용하게 사용되는 CNN을 활용하였다. 또한 일반적인 DNN(deep neural network)은 1차원 데이터를 사용하여 학습하여 2차원 데이터인 이미지로 학습을 시킬 경우, 1차원 데이터로 만드는 과정에서 이미지의 손실이 발생한다⁽¹⁸⁾. 따라서 2차원 데이터를 학습시킬 때에는 이미지를 직접 학습하고 패턴을 사용하여 이미지를 학습하는 신경망인 CNN을 사용한다.

이 연구에서 사용된 CNN 모델링을 위해 matlab을 이용하였다. 학습시킬 데이터는 시간-주파수 분석을 통해 획득한 소음 데이터의 colormap 이미지와 진동 데이터의 colormap 이미지를 적절한 기준에 따라 선택하였다. 소음 데이터는 운전석 귀 위치에서 측정된 정성·정량 평가가 이루어진 데이터를 이용하여 학습을 진행하였다. 진동 데이터는 Fig. 5를 통해 나타난 응답의 크기를 기준으로 선별하였다. 가장 응답이 높은 순서대로 캡스프링(LH) 하단, 스테빌라이저(LH), 스테빌라이저(LH) 브라켓 위치에서 측정된 3개의 진동 데이터와 이와 비교하여 응답이 작은 캡스프링(LH) 상단 body에서 측정된 데이터를 포함하여 총 4개의 진동 데이터를 학습 데이터로 선별하였다. 캡스프링(LH) 상단 body의 경우, 그래프와 비교하여 응답의 차이가 큼에 따라 학습 결과에도 동일한 경향이 있을지 확인하기 위해 포함시켜 진행하였다.

추가적으로 선별된 데이터의 colormap span을 다르게 설정한 후 추출하여 학습을 진행하였다. CNN은 이미지 데이터의 특징(feature)을 추출하여 분류하는데 특화된 신경망으로서 이미지가 달라짐에 따라 이를 분류하는 특징을 다르게 추출할 수 있고, 그에 따라 학습 결과도 달라질 것으로 판단하였기에 span을 다르게 하여 학습하는 추가 작업을 진행하였다.

각 데이터마다 추출한 colormap 이미지는 정성·정량 평가와 마찬가지로 211개의 이미지가 하나의 데이터셋(dataset)으로 구성되었다. 이를 통해 학습을 진행할 때, 전체 데이터셋의 80 %는 학습, 20 %는 검증용 이미지로 진행하도록 설정하였고, 학습과 검증에 사용되는 이미지 데이터는 무작위로 선별되었다. 무작위로 선별됨에 따라 학습이 1회 이루어질 때마다 그 결과에 변화가 있었기에 데이터셋별로 10회의 학습을 진행한 후, 평균을 계산하여 최종적인 평가점수를 도출하여 학습 결과의 신뢰성을 확보하였다. 이러한 학습 결과는 정성 평가의 평가 결과와 비교됨에 따라 정성 평가의 평가 결과의 신뢰성 또한 중요하다고 생각된다. 정성 평가의 경우, 25년 이상의 경력을 갖춘 전문 평가자 2인을 배치하여 평가하도록 하였고, 이에 대한 결과를 평균하여 평가 오류를 줄여 평가 결과의 신뢰성을 향상시켰다. 따라서 정성 평가의 평가 결과와 딥 러닝 학습의 학습 결과를 비교한 것이 신뢰성을 갖추었다고 할 수 있다. 하지만 평가자가 2인인 면은 두 결과의 차이가 작아지는 방향이 반드시 참값에 근접한다고 단정하기 어려워 보완해야 할 단점으로 판단된다.

먼저, 소음 데이터를 이용하여 학습을 진행하였으며 학습에 사용된 각 등급별 colormap 이미지의 예는 Fig. 9와 같다. 2.3절에서 언급했던 대로 각 등급별로 이미지에 차이가 나타남을 알 수 있다. Fig. 10과 같이 등급의 차이에 따라 이미지에 큰 차이가 없는 것도 존재할 수 있지만 이는 정성 평가로 인한 오차로 전체 결과에는 크게 미치지 않을 것으로 예상된다.

Fig. 9 
Example of trained colormap images with corresponding qualitative score

Fig. 10 
Another example of colormap images with corresponding qualitative score

Fig. 9의 훈련을 위한 이미지는 span을 40 dB ~ 50 dB(A)로 설정하여 추출한 예이다. 각 span 별로 추출한 데이터셋을 이용하여 총 10회의 학습을 진행하였고, 각 학습에 따른 예측 결과와 전문가의 정성 평가 결과의 차이를 Table 3에 정리하여 나타내었다. 학습에 사용된 211개의 데이터셋 중 20 %인 약 42개는 검증용으로 사용되었다. Fig. 11과 같이 검증 과정에서 전문가 정성 평가와 예측 점수간의 차이가 발생하며 42개의 점수 차이를 평균한 것이 Table 3에서의 나타낸 점수 차이이다. 이를 10회 반복하여 산출한 평균 차이 점수들의 평균을 Table 3 하단에 계산하여 그 역시 표시하였다. 학습 결과로 40 dB ~ 50 dB(A) span에서는 0.3816의 점수 차이가 발생함을 볼 수 있고, 이는 정성·정량 평가 시 평가된 점수의 간격이 0.5인 것보다 낮으므로 해당 CNN 모델을 통해 약 한 등급의 오차로 이상소음 등급을 예측 가능함을 알 수 있었다. span을 40 dB ~ 50 dB(A)로 설정하였을 경우 0.3816점으로 가장 좋은 결과가 나타남을 확인할 수 있었다.

Fig. 11 
Comparisons of qualitative evaluation grade and predicted value

다음은 진동 데이터를 이용하여 학습을 진행하였다. 진동 데이터의 경우, 각 데이터 별로 값이 크게 상이하기에 고정된 span을 사용하면 특정 진동 데이터의 colormap이 육안으로도 그 특징을 분별하기 어려워 학습에 용이하지 않다고 판단하였다. 따라서 각 데이터의 응답 분포나 주파수별 응답의 크기 등은 유지하되 일정한 기준을 가지고 비교할 수 있도록 span의 최댓값을 기준으로 colormap을 추출하였다.

Table 3에서 볼 수 있듯이 20 dB span보다 10 dB 간격의 span이 더 좋은 결과를 산출함을 확인할 수 있었다. 따라서 진동 데이터도 10 dB를 span 간격으로 설정하여 몇 번의 시도 후에 (max span-40) ~ (max span-30)으로 span을 설정하여 이미지를 추출하였다. 이미지는 3.1절에서 전술한 4개의 진동 데이터를 추출하였다.

학습 결과, Table 4에서 볼 수 있듯이 각 데이터의 응답 크기와는 반대로 응답이 가장 작은 캡스프링(LH) 상단 body의 학습 결과가 0.5602로 가장 좋음을 확인할 수 있었다. 따라서 주어진 데이터 셋을 이용한 결과에 한정하여 CNN 학습에 있어서 수치적인 응답의 크기는 학습 결과와 직접적인 관련이 없는 것으로 판단되었다.

결과적으로, 운전석 소음 데이터의 colormap 이미지로 CNN 딥 러닝 학습을 진행하고 학습된 AI를 통해 이상소음의 평가 점수를 예측하였을 때 가장 좋은 결과가 나타남을 알 수 있었다. 이는 전문가의 정성 평가가 소음을 기반으로 이뤄졌기 때문이라 추정된다. 또한 span에 따라 변화하는 이미지가 학습 결과에 영향을 미치는 것을 알 수 있었다. 추가적인 연구를 통하여 보다 최적의 span을 찾는다면 AI 학습을 통해 정성 평가 작업에 대한 보조 수단으로 유용할 수 있을 것으로 판단된다.