합성곱 신경망을 이용한 상용차 이상소음 정성 평가 등급 예측

1. 서 론

차량 소음 저감 방법은 수많은 연구 논문의 수를 통해 알 수 있듯이 오랜 시간 연구 대상이 되어왔다. 차량의 소음 저감 대책을 마련하기 이전에 현재 상태의 소음을 측정하고 그 소음에 대한 정성적·정량적 기준을 규정하고 평가하는 연구가 이루어지고 있다. 쌍대비교법, 의미분별척도법 그리고 요인분석법을 이용한 통계적 평가⁽¹⁾, 감성 형용사를 이용한 주관적 평가 및 통계 분석⁽²⁾, booming sensation의 음질 평가⁽³⁾, EGM(evaluation grid method)을 이용한 차량 도어 클로징 사운드 평가⁽⁴⁾, CAPC(continuous assessment by predefined categories)을 적용한 주관적 평가⁽⁵⁾ 등의 정성적 평가에 대한 연구는 물론이고, mahalanobis distance를 이용한 음질 평가⁽⁶⁾, 뇌파 측정을 이용한 차량 방향지시등 음질 평가⁽⁷⁾, 화성학적 개념을 이용한 차량 배기토출음의 음질지수 개발⁽⁸⁾, 인간의 청각지각을 기반으로 하는 HAP-RM(roughness model based on human auditory perception) 모델 개발⁽⁹⁾, BPNN(BP neural network) 모델을 결합한 SMVBMBR (statistical mean value of basilar membrane displacement responses)을 이용한 음질 평가⁽¹⁰⁾, DWT(discrete wavelet transform)를 이용한 비정상 차량 소음의 SQE(sound quality estimation)⁽¹¹⁾ 등과 같이 정량적 평가 방법에 대해서도 연구가 진행 중이다. 이처럼 차량에서 발생하고 있는 소음들은 여러 가지 원인에 기인하고 있고 이를 평가하는 방법 또한 다양한 것을 알 수 있다.

장시간 차량 소음에 대한 정성 평가 진행시, 숙련된 평가자라 하더라도 육체적 피로도 및 정신적 컨디션에 따라 정성 평가 결과는 영향을 받을 수 있다. 이에 대한 보조수단으로 ANN(artificial neural network)을 이용한 객관적 부밍 및 럼블링 지수의 개발⁽¹²⁾, 신경망 예측기(neural network predictor)를 사용한 음질 평가 분석⁽¹³⁾, back propagation 신경망을 이용한 차량 실내 음질 예측⁽¹⁴⁾, 회귀 기반 심층 신뢰망과 관련된 연구^(15,16) 등 AI를 이용한 차량 음질의 평가나 예측에 대한 연구도 활발히 진행되고 있다.

이 연구에서는 노면으로부터 전달되는 임팩트성 가진으로 파손된 특정 부품으로부터 발생하는 이상소음을 측정하여 정성적·정량적으로 평가한 후, 평가된 소음·진동 데이터로부터 추출된 2D colormap 이미지를 이용하여 CNN 딥 러닝 학습을 진행하였다. 이후 그 결과를 정성적·정량적 평가와 비교함으로써 학습의 상관성을 검토하였고, 학습된 결과를 통해 이상 소음을 정성 평가하는 데 있어서 보조수단으로 쓰일 수 있는 가능성에 대해 연구하였다.

2. 이상소음 음질 평가

2.2 이상소음의 정성 평가 및 상관성 분석

정성 평가는 완성차 업체에서 소음·진동 평가 경력 25년 이상의 전문가 2인이 이상소음의 크기나 음색을 기준으로 정성 평가 점수를 판정하는 방식으로 실시되었다. 최종적으로 두 전문가의 점수의 평균으로 각 데이터별 정성 평가 점수가 판정되도록 하였다. 각 전문가는 5 ~ 8점의 정수로 평가를 진행하였으며, 이를 평균함으로써 5.5, 6.5, 7.5 등의 정수가 아닌 유리수가 포함되어 결과적으로 최종 평가 점수는 Table 1과 같이 7등급으로 분류되었다.

Table 1

Number of cases for qualitative/quantitative evaluations

Table 1에서 볼 수 있듯이, 전문가 2인의 정성 평가 결과, 각 등급별로 5.0점에는 14건, 5.5점에는 28건, 6.0점에는 53건, 6.5점에는 53건, 7.0점에는 39건, 7.5점에는 22건 그리고 8.0점에는 2건으로 총 이상소음의 발생 건수는 211건으로 평가되었다.

이러한 정성 평가 결과에 대해 노면상태, 주행조건 그리고 단일음 및 연속음에 따른 상관성을 검토하였다. 상관성 검토를 위해 Microsoft Excel의 추세선을 이용하였고, 결정계수 R²이 1에 가까울수록 상관성이 좋은 것으로 판단하였다.

Fig. 1은 각 노면 상태에 따른 음압 데이터의 분포와 그에 따른 추세선 그래프이다. 도심 일반도로, 고속도로, 국도에 대해 데이터를 측정하고 분류하였다. 추세선의 결정계수는 도심 일반도로의 경우 0.8703, 고속도로는 0.8445, 국도는 0.8053으로 도심 일반도로에서의 결정계수가 1에 가장 가까움을 볼 수 있고, 따라서 아스팔트 노면 상태인 도심 일반도로에서 상관성이 좋은 것으로 판단된다.

Fig. 1

Correlation scatter plots between qualitative evaluation and measured sound pressure at the driver’s ear location for each road

Fig. 2는 각 주행 조건에 따른 음압 데이터의 분포와 그에 따른 추세선 그래프이다. 정속, 감속, 가속 상태에 대해 데이터를 측정하고 분류하였다. 추세선 확인 결과, 정속 조건의 결정계수는 0.8648, 감속 조건에서는 0.8421, 가속 조건에서는 0.8109로 정속 조건에서의 상관성이 가장 높은 것을 확인할 수 있다. 가속 및 감속 시에 발생하는 럼블 및 화인성 소음과 가진주파수 변동으로 인한 음색 변화로 인해 정성 평가 점수의 상관성에 영향을 주는 것이라 추정된다. Fig. 3에서 볼 수 있듯이 가속 조건과 정속 조건에서의 colormap에 차이가 있음을 알 수 있고, 럼블성 소음에 의해 정성 평가 점수가 2.3절에서 후술할 데이터 평가 점수에 비해 낮음을 알 수 있다.

Fig. 2

Correlation scatter plots between qualitative evaluation and measured sound pressure at the driver’s ear location for each driving condition

Fig. 3

Time-frequency response of measured sound pressure according to each driving condition

Fig. 4는 단일음 및 연속음에 따른 정성 평가 상관성 검토 그래프이다. 평가된 이상소음이 단일적으로 발생한 경우에 단일음, 연속적으로 발생한 경우에 연속음으로 분류하였다. 추세선 확인 결과, 단일음의 결정계수는 0.8572, 미약한 연속음은 0.8239, 연속음은 0.8046으로 발생하는 이상소음은 단일음 대비 연속음의 정성 평가 상관성이 낮은 것을 확인할 수 있다.

Fig. 4

Correlation scatter plots between qualitative evaluation and measured sound pressure at the driver’s ear location according to single and continuous sounds

2.3 이상소음의 정량적 평가

량 평가는 정성 평가에서 소음등급이 결정된 소음 데이터를 이용하여 진행되었다. 이는 정성적으로 이루어진 음질 평가가 정량적으로 평가된 결과와의 관계를 비교하고 상관성을 검토하기 위함이다. 먼저, 이상소음이 발생될 때의 시간데이터를 잘라 주파수 분석하였다. Fig. 5와 같이 스테빌라이저(LH) 측에서 14 Hz의 임팩트성 가진이 발생함을 확인할 수 있다.

Fig. 5

Measured accelerations in frequency domain

이후, 이상소음의 발생 주파수 분포를 확인하였다. Fig. 6과 같이 운전석에서의 소음 데이터의 colormap을 통해 113 Hz ~ 196 Hz, 232 Hz ~ 296 Hz, 302 ~ 372 Hz, 422 Hz ~ 494 Hz, 그리고 502 Hz ~ 590 Hz에서 소음이 분포됨을 확인할 수 있었고, 이러한 주파수 영역을 기준으로 정성 평가에서 이상소음이 발생된 총 211건에 대해 소음 데이터의 주파수별 응답 최댓값의 분포를 확인하였다. Table 2에서 볼 수 있듯이 113 Hz ~ 196 Hz의 주파수 영역에서 35건, 232 Hz ~ 296 Hz에서 149건, 302 Hz ~ 372 Hz에서 10건, 422 Hz ~ 494Hz에서 15건, 502 Hz ~ 590 Hz에서 2건으로 대부분 200 Hz ~ 300 Hz에서 발생됨을 확인할 수 있었다. 이를 실내소음 기준 최댓값을 7등분으로 나눈 뒤 정성 평가와 동일하게 5 ~ 8점 사이에 7개의 등급으로 분류한 결과, Table 1과 같이 5.0점에는 6건, 5.5점에는 14건, 6.0점에는 30건, 6.5점에는 62건, 7.0점에는 59건, 7.5점에는 33건, 8.0점에는 7건으로 분류됨을 확인하였다. 이를 Fig. 7과 같이 분류된 정성 평가, 정량 평가 데이터의 분포를 비교하였을 때, 정성 평가 결과에 의한 점수는 정량 평가와 상관성이 높으나 판단오차가 발생되는 것으로 보인다. 또한 정성 평가의 경우, 낮은 등급에 다수의 데이터가 분포됨을 통해 이상소음에 대한 정성 평가에서는 저평가하는 경향이 있는 것으로 판단된다.

Fig. 6

Colormap of the distribution of frequencies where abnormal noise is generated

Table 2

Maximum distribution in frequency domain

Fig. 7

Graph of comparison quatitative evaluation with qualitative evaluation

마지막으로 각 등급별 소음 데이터의 colormap 이미지를 추출하여 확인한 결과, Fig. 8에서 볼 수 있듯이 주파수 도메인에서의 최댓값을 이용한 기준점수가 각 colormap과 연관성이 있음을 확인할 수 있다. 이러한 colormap 이미지와의 상관성을 통해 다음 장에서 CNN 딥 러닝의 상관성 및 타당성을 조사하고자 한다.

Fig. 8

Time-frequency responses of acoustic data with corresponding qualitative score

3. CNN 딥 러닝을 이용한 이상소음 평가

3.2 2차원 데이터를 이용한 CNN 학습

먼저, 소음 데이터를 이용하여 학습을 진행하였으며 학습에 사용된 각 등급별 colormap 이미지의 예는 Fig. 9와 같다. 2.3절에서 언급했던 대로 각 등급별로 이미지에 차이가 나타남을 알 수 있다. Fig. 10과 같이 등급의 차이에 따라 이미지에 큰 차이가 없는 것도 존재할 수 있지만 이는 정성 평가로 인한 오차로 전체 결과에는 크게 미치지 않을 것으로 예상된다.

Fig. 9

Example of trained colormap images with corresponding qualitative score

Fig. 10

Another example of colormap images with corresponding qualitative score

Fig. 9의 훈련을 위한 이미지는 span을 40 dB ~ 50 dB(A)로 설정하여 추출한 예이다. 각 span 별로 추출한 데이터셋을 이용하여 총 10회의 학습을 진행하였고, 각 학습에 따른 예측 결과와 전문가의 정성 평가 결과의 차이를 Table 3에 정리하여 나타내었다. 학습에 사용된 211개의 데이터셋 중 20 %인 약 42개는 검증용으로 사용되었다. Fig. 11과 같이 검증 과정에서 전문가 정성 평가와 예측 점수간의 차이가 발생하며 42개의 점수 차이를 평균한 것이 Table 3에서의 나타낸 점수 차이이다. 이를 10회 반복하여 산출한 평균 차이 점수들의 평균을 Table 3 하단에 계산하여 그 역시 표시하였다. 학습 결과로 40 dB ~ 50 dB(A) span에서는 0.3816의 점수 차이가 발생함을 볼 수 있고, 이는 정성·정량 평가 시 평가된 점수의 간격이 0.5인 것보다 낮으므로 해당 CNN 모델을 통해 약 한 등급의 오차로 이상소음 등급을 예측 가능함을 알 수 있었다. span을 40 dB ~ 50 dB(A)로 설정하였을 경우 0.3816점으로 가장 좋은 결과가 나타남을 확인할 수 있었다.

Table 3

Difference between CNN learning result and qualitative test according to each span

Fig. 11

Comparisons of qualitative evaluation grade and predicted value

다음은 진동 데이터를 이용하여 학습을 진행하였다. 진동 데이터의 경우, 각 데이터 별로 값이 크게 상이하기에 고정된 span을 사용하면 특정 진동 데이터의 colormap이 육안으로도 그 특징을 분별하기 어려워 학습에 용이하지 않다고 판단하였다. 따라서 각 데이터의 응답 분포나 주파수별 응답의 크기 등은 유지하되 일정한 기준을 가지고 비교할 수 있도록 span의 최댓값을 기준으로 colormap을 추출하였다.

Table 3에서 볼 수 있듯이 20 dB span보다 10 dB 간격의 span이 더 좋은 결과를 산출함을 확인할 수 있었다. 따라서 진동 데이터도 10 dB를 span 간격으로 설정하여 몇 번의 시도 후에 (max span-40) ~ (max span-30)으로 span을 설정하여 이미지를 추출하였다. 이미지는 3.1절에서 전술한 4개의 진동 데이터를 추출하였다.

학습 결과, Table 4에서 볼 수 있듯이 각 데이터의 응답 크기와는 반대로 응답이 가장 작은 캡스프링(LH) 상단 body의 학습 결과가 0.5602로 가장 좋음을 확인할 수 있었다. 따라서 주어진 데이터 셋을 이용한 결과에 한정하여 CNN 학습에 있어서 수치적인 응답의 크기는 학습 결과와 직접적인 관련이 없는 것으로 판단되었다.

Table 4

Result table for CNN learning of vibration data

결과적으로, 운전석 소음 데이터의 colormap 이미지로 CNN 딥 러닝 학습을 진행하고 학습된 AI를 통해 이상소음의 평가 점수를 예측하였을 때 가장 좋은 결과가 나타남을 알 수 있었다. 이는 전문가의 정성 평가가 소음을 기반으로 이뤄졌기 때문이라 추정된다. 또한 span에 따라 변화하는 이미지가 학습 결과에 영향을 미치는 것을 알 수 있었다. 추가적인 연구를 통하여 보다 최적의 span을 찾는다면 AI 학습을 통해 정성 평가 작업에 대한 보조 수단으로 유용할 수 있을 것으로 판단된다.

4. 결 론

이 연구에서는 특정 부품의 파손된 차량의 주행 중 발생하는 이상소음을 소음·진동의 측면에서 데이터를 측정하였고, 이를 정성적·정량적으로 평가하였다. 이후, 측정된 데이터의 colormap 이미지를 이용하여 CNN 학습을 진행하여 앞서 평가된 결과와 비교하였다.

정성 평가는 2인의 전문가가 5 ~ 8등급의 7단계의 분류로 소음등급을 평가하였다. 이후, 추세선의 결정계수를 이용하여 정성 평가의 상관성을 검토하였다. 노면 상태에 따른 상관성 검토 결과로 도심의 일반도로에서 가장 높은 상관성을 보였고, 주행 상태는 정속 주행에서 가장 높은 상관성을 보였으며 단일음과 연속음에서는 단일음에서 가장 높은 상관성을 보였다.

정량 평가는 정성 평가에서 이상소음이 발생된 데이터를 중심으로 주파수 응답 최댓값의 주파수 분포를 확인하였다. 이후, 최댓값과 최솟값을 확인하여 정성 평가와 같이 7등분하고, 등분한 기준점수를 정성 평가와 대조하였을 때 높은 상관성이 있음을 확인하였다.

CNN 학습은 소음데이터와 진동 데이터를 통해 이루어졌다. 이미지로 학습을 하는 CNN의 특징상 학습 결과에 미치는 영향을 확인하기 위해 이미지의 span의 영향도를 조사하였다. CNN 학습 결과, 소음 데이터의 40 dB ~ 50 dB(A) span으로 추출된 이미지로 학습하였을 때 예측 점수와 전문가 정성 평가 점수가 0.3816점으로 가장 작은 차이가 나타남을 확인하였다. 이 연구에서 정성 평가 점수의 분해능이 0.5점인 것을 생각하면 CNN 학습을 통해 평가 및 예측된 점수가 전문가 정성 평가와 상관성이 있는 것으로 판단된다. 소수의 평가자임에도 불구하고 높은 상관성의 결과가 나타난 것을 통해 정성 평가 결과의 타당성을 증명 가능할 것으로 판단된다. 추후에 다수의 평가자를 배치하여 정성 평가 결과에 대한 높은 타당성을 확보하여 연구를 진행할 경우, 더 좋은 연구 결과가 나타날 것으로 기대된다.

또한 span에 따라 예측 점수가 바뀌는 것을 확인할 수 있었다. 따라서 보다 최적의 span이 존재할 것으로 판단되며, 추가 연구를 통해 AI 학습 기반 평가방법이 전문가 기반의 정성 평가 작업에 대한 유효한 보조수단으로 쓰일 수 있는 가능성이 있음을 확인하였다.

이 연구에서는 특정 차량, 특정 부품의 파손으로 인한 이상소음을 평가하는 제한적인 상황에서 연구를 진행했지만 차종과 파손된 부품이 변경되거나 이상소음의 주파수 대역이 변경되어도 이상소음이 발생하고 그 특징이 소음의 크기에 따라 colormap에 일관성 있게 나타난다면 해당 이미지로 딥 러닝 학습을 하고 평가하는 데에 있어 보조 수단으로써 충분히 사용 가능할 것으로 판단된다.

Acknowledgments

이 연구는 현대자동차의 지원 및 한국연구재단의 중점연구소사업(NRF-2017R1A6A1A03015562)과 기본연구지원사업 (NRF-2021R1F1A1056483), 2022년도 정부의 재원으로 정보통신기술진흥센터 및 한국산업기술진흥원의 지원 (P0008458. 2022년 산업혁신인재성장지원사업) 및 경기도의 경기도지역협력연구센터(GRRC) 사업의 일환으로 수행되었으며 [(GRRC한국공대2020-B03)] 이에 감사드립니다.

References

• Lee, J. K., Chai, J. B. and Jang, H. K., 2005, Study on the Evaluation of Sound Quality of a Vehicle Interior Noise, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 15, No. 8, pp. 945~953. [https://doi.org/10.5050/KSNVN.2005.15.8.945]
• Kang, S.-W., 2016, Sound Quality Evaluation of Vehicle Interior Noise using Virtual Sound Quality Analysis, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 27, No. 1, pp. 100~106. [https://doi.org/10.5050/KSNVE.2017.27.1.100]
• Shin, S.-H., Ih, J.-G., Hashimoto, T. and Hatano, S., 2009, Sound Quality Evaluation of the Booming Sensation for Passenger Cars, Applied Acoustics, Vol. 70, No. 2, pp. 309~320. [https://doi.org/10.1016/j.apacoust.2008.03.009]
• Takada, M., Mori, H., Sakamoto, S. and Iwamiya, S., 2019, Structural Analysis of the Value Evaluation of Vehicle Door-closing Sounds, Applied Acoustics, Vol. 156, pp. 306~318. [https://doi.org/10.1016/j.apacoust.2019.07.025]
• Liu, Z., Li, X., Du, S., Chen, W., Shao, J. and Zheng, Q., 2021, Strategy and Implementing Techniques for the Sound Quality Target of Car Interior Noise during Acceleration, Applied Acoustics, Vol. 182, p. 108171. [https://doi.org/10.1016/j.apacoust.2021.108171]
• Park, S.-G., Lee, H.-J., Bae, C.-Y., Lee, B.-H. and Oh, J.-E., 2007, Sound Quality Evaluation of Interior Noise of Driving Vehicle using Mahalanobis Distance, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 18, No. 1, pp. 57~60. [https://doi.org/10.5050/KSNVN.2008.18.1.057]
• Shin, T.-J., Lee, Y.-J. and Lee, S.-K., 2012, Sound Quality Evaluation of Turn-signal of a Passenger Vehicle based on Brain Signal, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 22, No. 11, pp. 1137~1143. [https://doi.org/10.5050/KSNVE.2012.22.11.1137]
• Jung, I. S., Kim, H. K., Shin, D. H., Lim, H. G. and Kim, S. H., 2015, A Study on Sound Quality of Exhaust Tail-pipe Noise of Vehicle, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 25, No. 2, pp. 90~100. [https://doi.org/10.5050/KSNVE.2015.25.2.090]
• Wang, Y. S., Shen, G. Q., Guo, H., Tang, X. L. and Hamade, T., 2013, Roughness Modeling based on Human Auditory Perception for Sound Quality Evaluation of Vehicle Interior Noise, Journal of Sound and Vibration, Vol. 332, No. 16, pp. 3893~3904. [https://doi.org/10.1016/j.jsv.2013.02.030]
• Wang, Z., Li, P., Liu, H., Yang, J., Liu, S. and Xue, L., 2021, Objective Sound Quality Evaluation for the Vehicle Interior Noise based on Responses of the Basilar Membrane in the Human Ear, Applied Acoustics, Vol. 172, p. 107619. [https://doi.org/10.1016/j.apacoust.2020.107619]
• Wang, Y. S., 2009, Sound Quality Estimation for Nonstaionary Vehicle Noises based on Discrete Wavelet Transform, Journal of Sound and Vibration, Vol. 324, No. 3-5, pp. 1124~1140. [https://doi.org/10.1016/j.jsv.2009.02.034]
• Lee, S.-K., 2007, Objective Evaluation of Interior Sound Quality in Passenger Cars during Acceleration, Journal of Sound and Vibration, Vol. 310, No. 1-2, pp. 149~168. [https://doi.org/10.1016/j.jsv.2007.07.073]
• Yıldırım, S. and Eski, I., 2008, Sound Quality Analysis of Cars using Hybrid Neural Networks, Simulation Modeling Pratice and Theory, Vol. 16, No. 4, pp. 410~418. [https://doi.org/10.1016/j.simpat.2008.01.002]
• Tan, G.-P., Wang, D.-F. and Li, Q., 2011, Vehicle Interior Sound Quality Prediction Based on Back Propagation Neural Network, Procedia Environmental Sciences, Vol. 11, pp. 471~477. [https://doi.org/10.1016/j.proenv.2011.12.075]
• Huang, H. B., Huang, X. R., Li, R. X., Lim, T. C. and Ding, W. P., 2016, Sound Quality Prediction of Vehicle Interior Noise using Deep Belief Networks, Applied Acoustics, Vol. 113, pp. 149~161. [https://doi.org/10.1016/j.apacoust.2016.06.021]
• Huang, H. B., Li, R. X., Yang, M. L., Lim, T. C. and Ding, W. P., 2017, Evaluation of Vehicle Interior Sound Quality using a Continuos Restricted Boltzmann Machine-based DBN, Mechanical Systems and Signal Processing, Vol. 84, pp. 245~267. [https://doi.org/10.1016/j.ymssp.2016.07.014]
• Yamashita, R., Nishio, M., Kinh Gian Do, R. and Togashi, K., 2018, Convolutional Neural Networks: An Overview and Application in Radiology, Insights into Imaging, Vol. 9, pp. 611~629. [https://doi.org/10.1007/s13244-018-0639-9]
• Lee, D., Jeon, S. and Lee, D., 2022, CNN Model Transition Learning Comparative Analysis based on Deep Learning for Image Classification, The Korea Institute of Information and Communication Engineering, Vol. 26, No. 1, pp. 370~373.