합성곱 신경망과 소음 신호의 연속 웨이블릿 변환을 이용한 주행 노면 및 타이어의 분류

1. 서 론

타이어는 자동차에서 노면과 직접 접촉이 발생하는 핵심 부품이다. 타이어는 자동차의 제동 성능과 직접적인 관련이 있으며, 타이어와 접촉하고 있는 노면 또한 제동과 밀접한 관련이 있다. 이러한 사실에 기반하여 노면-타이어 마찰 추정에 대한 연구가 진행되어왔다^(1~3). 최근 자율 주행 차량의 급격한 발전으로 인해 노면 판별 알고리즘에 대한 연구가 많이 진행중이 되어왔다. 안정적인 노면 판별이 가능하다면 판별된 노면의 마찰계수를 통한 자율 주행 환경 대응 ABS(anti-lock braking system) 및 ESC(electronic stability control) 제어성능 향상이 가능하기 때문이다. 최근에 노면 판별에 대한 다양한 연구가 진행되어왔다. 마이크로폰을 이용하여 노면-타이어 소음을 측정한 뒤 support vector machine을 이용하여 젖은 노면과 마른 노면을 판별하는 연구⁽⁴⁾, 타이어 cavity공간에 마이크로폰을 이용하여 음향 신호를 support vector machine을 이용하여 노면을 판별하는 연구⁽⁵⁾가 보고되었다. 한편, hyperspectral data를 이용한 영상처리기반 노면 판별⁽⁶⁾, 노면 표면 이미지 입력데이터로 합성곱 신경망(CNN: convolution neural network)를 이용한 노면 판별⁽⁷⁾ 등 이미지 기반 노면 판별 연구도 진행되어 왔다. 위와 같은 연구에서는 제동에 가장 취약한 눈길 판별에 대한 연구와 타이어 종류에 따른 판별에 대한 연구는 진행되지 않았다. 이 연구에서는 마른 아스팔트와 눈이 쌓인 아스팔트 두 가지 노면의 상태와 두 가지 종류의 타이어의 분류에 대한 연구를 진행하였다. 각각 두 가지의 노면 상태와 타이어를 분류하기 위해 딥러닝을 이용하였다. 딥러닝에서도 이미지 데이터를 합성곱 연산을 통해 이미지를 학습하는 합성곱 신경망을 사용하였다. 합성곱 신경망을 활용하기 위해 이 연구에서는 마이크로폰을 이용하여 주행 소음을 측정하고 측정된 신호에 연속 웨이블릿 변환(CWT: continuous wavelet transform)을 적용하여 입력 이미지 데이터로 생성하였다.

2. 이 론

2.2 합성곱 신경망

합성곱신경망은 이미지를 입력 데이터로 합성곱 연산을 통해 특징을 추출하여 학습하는 인공신경망이다. CNN의 성능은 이미 우수하다고 알려져 있으며, 파워 드라이빙 시스템의 결함 분류⁽¹⁰⁾, 타이어 통과 소음 예측⁽¹¹⁾, 차량 구조 결함 분류⁽¹²⁾ 등 다양한 분야에서 적용되었다. 합성곱신경망은 입력 이미지에 대해 합성곱을 통해 특징지도(feature map)을 만들어낸 후 폴링(pooling) 과정을 통해 특징을 압축한다. 이러한 합성곱과 폴링과정을 반복한 후, 완전연결계층(fully connected layer)에 연결한다. 또한 완전연결계층의 출력을 소프트맥스 함수에 입력하여 분류가 이루어질 수 있도록 하였다. Fig. 1은 전형적인 CNN 구조를 보여준다.

Fig. 1

Basic architecture of convolutional neural network

3. 실 험

3.1 실험 측정 장비

이 연구는 Fig. 2와 같이 차량 하부 휠 가드에 마이크로폰을 부착하여 진행하였다. 주행 중 이물질 비산을 고려하여 휠 가드 앞쪽에 부착하였으며, 앞바퀴와 뒷바퀴에 대한 결과를 비교하기 위해 각각 한 개의 마이크로폰을 부착하였다. 부착한 마이크로폰은 1/4인치 free-field 마이크로폰(GR.A.S 40 PH, 덴마크)를 사용하였다. 또한 Fig. 2과 같이 소음 측정 장비 (LMS SCADAS Mobile, 독일 지멘스사)을 이용하여 주행 소음을 측정할 수 있도록 구성하였으며 sampling frequency는 51 200 Hz로 하였다.

Fig. 2

Position of microphones and measurement set up

3.2 실험 타이어 및 노면

노면-타이어 소음측정은 2가지 타이어와 2가지 노면에 대해서 진행되었다. Fig. 3에서 보는 것과 같이 직선 코스를 이용하였으며, 눈 길과 마른 아스팔트 노면에 대해 소음을 측정하였다. 또한 실험의 일관성을 위해 같은 날에 진행하였으며 40 km/h의 정속 주행을 통해 이루어졌다. 실험에 사용된 타이어는 Fig. 4에서 보여주는 바와 같이 A사의 타이어와 B사의 타이어를 이용하여 주행 소음을 측정하였고, 이 논문에서 각각 tire-A, tire-B로 명명하였다. 각 노면은 60 m ~ 90 m 정도이며 tire-A, tire-B에 대해 각각 asphalt 노면은 모두 7번, snow노면은 22번, 20번의 주행이 이루어졌다.

Fig. 3

Road for noise measurement

Fig. 4

Tire for noise measurement

3.3 측정 데이터 및 분석

실험에 사용된 2가지 노면과 2가지 타이어를 통하여 휠 커버 위에서 측정된 소음의 raw 데이터는 시간영역에 대하여 Fig. 5에 도시하였고 그에 따른 주파수 스펙트럼을 Fig. 6에 도시하였다. Fig. 6을 보면 0 Hz ~ 600 Hz 주파수 영역에서 snow 노면의 소음이 asphalt 노면의 소음보다 크게 측정되었다. 이는 주행하면서 눈을 밟아 나는 소리로 인한 것으로, 600 Hz 이하의 소음이 전체적으로 크게 증가하였다. 한편 600 Hz ~ 2500 Hz 주파수 영역에서는 asphalt 노면의 소음이 snow 노면의 소음보다 훨씬 크게 측정되었다.

Fig. 5

Time history for noise data measured on the wheel cover

Fig. 6

Frequency spectrum difference between roads and tires

소음이 증가하는 이유는 타이어 tread impact로 인한 소음^(13,15), 노면 texture의 impact로 인한 소음⁽¹⁶⁾, air pumping에 의한 소음들의 영향이 눈으로 인해 약해진 것으로 분석된다. Fig. 7은 이러한 현상을 설명하는 것으로 눈에 의해 타이어 그루브와 패턴 홈들과 노면의 요철이 메꾸어졌기 때문이다. 2500 Hz 이상의 주파수 영역에서는 tire-A와 tire-B가 노면과 상관없이 같은 타이어끼리 비슷한 개형으로 분리되는 모습을 볼 수 있다.

Fig. 7

Noise generation mechanism difference between roads

4. 데이터 처리 및 학습

4.1 데이터 처리

노면을 분류에 대한 특징을 알고 threshold를 결정할 수 있다면 고전적인 신호처리 방법으로 노면분류가 가능하지만 이 논문에서는 CNN을 이용하여 자동 특징추출과 노면 분류를 진행하고자 한다. 노면의 texture 기인 소음, 패턴 가진음 등의 복잡한 TPIN의 특성을 이미지로 반영하려면 주파수 분해능과 시간 분해능에 대한 성능이 좋아야 하기 때문이다. CWT 이미지가 TPIN의 특성을 잘 대변해야 CNN을 통해 그 이미지로부터 특징을 잘 추출할 수 있다. 일반적으로 고주파 충격성 소음에 대한 시간 분해능이 CWT가 우수함으로 CWT를 사용하였다. 각 경우의 상황에 대한 측정 소음을 비교를 위해 6초씩 CWT를 이용하여 Fig. 8에 나타냈다. Fig. 8을 보면 snow 노면의 경우, 10 Hz ~ 600 Hz의 저주파수 영역에서 음압이 asphalt 노면보다 snow 노면에서 훨씬 크고, asphalt 노면의 경우, 800 Hz ~ 1000 Hz 주파수 영역에서 asphalt 노면의 TPIN이 잘 반영되어 나타났다. CNN을 위한 입력 이미지로 Fig. 8과 같은 전체데이터에 대한 이미지 데이터를 쓰지 않고 측정된 소음 데이터를 0.05초 간격으로 잘라 CWT하였으며 magnitude를 0과 1사이의 값으로 min-max scaling한 후 224 × 224 × 3사이즈로 이미지화하였다.

Fig. 8

Continuous wavelet transform of measurement data

바탕 CNN훈련을 위한 이미지 데이터를 최대한 많이 추출해내기 위해 0.0167초(0.05초의 1/3 수준)씩 shifting하며 CWT하였다. 최종 입력 이미지의 예시는 Fig. 9와 같다. 최종 입력 이미지를 보면 asphalt의 경우 노면의 texture가 잘 반영되었고 snow의 경우 저주파수의 저주파수의 강한 성분이 잘 반영되었음을 알 수 있다.

Fig. 9

Input images for CNN

4.2 합성곱 신경망의 학습

CWT를 통한 이미지 변환을 통해 만들어진 이미지데이터의 개수는 Table 1과 같다.

Table 1

Put table title put table title

각각의 실험데이터는 2회의 주행 소음 데이터이며, Train data는 그 외 나머지 주행에 대한 데이터이다. CNN은 앞 바퀴와 뒷 바퀴 네트워크를 따로 구성하여 학습을 진행하였다. CNN의 아키텍처는 Fig. 10과 같이 구성하였다. 첫 번째 층은 224 × 224 × 3의 이미지를 입력으로 받는 이미지 입력층, 두 번째 층은 3 × 3의 필터 크기로 16개의 필터를 구성한 합성곱 계층이고, 세 번째 층은 오버 피팅 억제, 가중치 초기값의 영향 감소, 학습 효율 증대등의 이유로 배치 정규화 계층(batch normalization Layer)⁽¹⁷⁾으로 구성하였다. 네 번째 계층은 흔히 쓰이는 ReLu 활성화 함수를 사용한 계층으로 구성하였다. 다섯 번째는 풀링 계층으로 2 × 2 사이즈로 평균 풀링하였으며 스트라이드는 2로하여 feature map이 2배의 크기로 줄어들 수 있도록 하였다. 여섯 번째 ~ 아홉 번째 계층은 두 번째 ~ 다섯 번째 계층과 같이 구성하였으며 합성곱 계층의 필터 개수만 16개에서 32개로 늘려주었다.

Fig. 10

Architecture of convolutional neural network for road and tire classification

합성곱과 폴링 과정을 거쳐서 추출된 특징 벡터들을 fully connected layer로 4개의 뉴런과 연결시킨 후 softmax layer를 통해 확률 값으로 변환한 뒤 마지막 출력 계층에서 loss값을 계산하고 최종 분류가 이루어 질 수 있도록 하였다. Loss값은 딥러닝 분류 문제에서 흔히 쓰이는 교차 엔트로피 함수를 통해 계산하도록 하였다. 또한 Adam 알고리즘⁽¹²⁾을 이용하여 학습이 이루어질 수 있도록 하였다. 학습 옵션으로는 minibatch 크기를 32로 하였고, 반복 횟수를 30 epoch으로 하여 학습을 하였다.

4.3 검증(test) 결과

검증결과는 confusion chart를 이용하여 Fig. 11에 나타내었다. Confusion chart의 대각 성분은 test data들 중에 실제 target값을 잘 예측한 개수를 나타낸다. 또한 하단의 퍼센트는 정확도(accuracy)를, 우측의 퍼센트는 정밀도(precision)을 나타낸다. 학습결과에 대한 총 정확도는 앞 바퀴의 경우 test data 5157개중 5052개를 잘 예측(97.9639 %)하였고, 후륜의 경우 Test data 5439개중 5397개를 잘 예측(99.2278 %)하였다. 후륜의 결과가 전륜의 결과보다 약 1.2639 % 높은 정확도를 보였지만, 유의할 만한 수준은 아님으로 전륜을 사용하여 노면분류가 가능하다.

Fig. 11

Confusion charts

5. 결 론

이 논문에서는 자율 주행 차량의 제동 제어를 위한 방법으로 노면 판별 방법을 제시하였다. 그 방법으로 차량 하부 쪽에 microphone을 장착한 후 tire-pavement interaction noise를 측정하고 이를 CWT하여 1차원 소음 신호를 2차원 이미지로 변환하였다. 이를 통해 신호가 가지고 있는 특성을 이미지로 반영시켜 CNN의 input 데이터로 활용하였다. CWT를 취한 소음 신호의 이미지는 snow 노면과 asphalt 노면의 특성을 잘 반영하고 있고, 서로 다른 타이어에 대해 이미지가 상이함을 확인하였다. 또한 이러한 노면과 타이어의 차이점으로 인한 소음 특징을 이용할 수 있도록 CNN의 학습을 통해 모델을 생성하였다. 학습된 모델은 97 % 이상의 정확도 결과를 보였고, 이는 노면 판별 방법으로서 소음신호를 CWT하여 CNN하는 방법이 탁월하다는 것으로 분석되었다. 이 논문에서는 아스팔트 노면과 snow 노면을 분류하였으나 후속 연구를 통하여 차량 및 타이어 특성에 대한 다양한 연구를 진행할 필요가 있다.

Acknowledgments

이 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2022R1F1A1062889). 이 연구는 (주)현대자동차, ㈜넥센타이어의 산학협력연구과제의 지원을 받아 수행된 연구임. 이 연구는 한국산업기술평가원(KEIT)의 지원으로 수행되었음(No. 20018706).

References

• Ribeiro, A. M., Moutinho, A., Fioravanti, A. R. and de Paiva, E. C., 2020, Estimation of Tire-road Friction for Road Vehicles: A Time Delay Neural Network Approach, Journal of the Brazilian Society of Mechanical Sciences and Engineering, Vol. 42, p. 4. [https://doi.org/10.1007/s40430-019-2079-y]
• Rajamani, R., Piyabongkam, N., Lew, J., Yi, K. and Phanomchoeng, G., 2010, Tire-road Friction-coefficient Estimation, IEEE Control Systems Magazine, Vol. 30, No. 4, pp. 54~69. [https://doi.org/10.1109/MCS.2010.937006]
• Muller, S., Uchanski, M. and Hedrick, K., 2003, Estimation of the Maximum Tire-road Friction Coefficient, Journal of Dynamic Systems, Measureme nt, and Control, Vol. 125, No. 4, pp. 607~611. [https://doi.org/10.1115/1.1636773]
• Alonso, J., López, J. M., Pavón, I., Recuero, M., Asensio, C., Arcas, G. and Bravo, A., 2014, On-board wet Road Surface Identification using Tyre/road Noise and Support Vector Machines, Applied Acoustics, Vol. 76, pp. 407~415. [https://doi.org/10.1016/j.apacoust.2013.09.011]
• Masino, J., Pinay, J., Reischl, M. and Gauterin, F., 2017, Road Surface Prediction from Acoustical Measurements in the Tire Cavity using Support Vector Machine, Applied Acoustics, Vol. 125, pp. 41~48. [https://doi.org/10.1016/j.apacoust.2017.03.018]
• Mohammadi, M., 2012, Road Classification and Condition Determination using Hyperspectral Imagery, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. 39, pp. 141~145. [https://doi.org/10.5194/isprsarchives-XXXIX-B7-141-2012]
• Nolte, M., Kister, N. and Maurer, M., 2018, Assessment of Deep Convolutional Neural Networks for Road Surface Classification, 21st International Conference on Intelligent Transportation Systems (ITSC), pp. 381~386. [https://doi.org/10.1109/ITSC.2018.8569396]
• Zheng, H., Li, Z. and Chen, X., 2002, Gear Fault Diagnosis based on Continuous Wavelet Transform, Mechanical Systems and Signal Processing, Mechani cal Systems and Signal Processing, Vol. 16, No. 2-3, pp. 447~457. [https://doi.org/10.1006/mssp.2002.1482]
• Aguiar-Conraria, L., Azevedo, N. and Soares, M. J., 2008, Using Wavelets to Decompose the Time-frequency Effects of Monetary Policy, Physica A: Statistical Mechanics and its Applications, Vol. 387, No. 12, pp. 2863~2878. [https://doi.org/10.1016/j.physa.2008.01.063]
• Kim, S., An, K., Back, J., Lee, S.-K., Lee, C. and Kim, P., 2021, Health Monitoring of Power Driving System Using Sound Signal based on Deep Learning, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 31, No. 1, pp. 47~56. [https://doi.org/10.5050/KSNVE.2021.31.1.047]
• Lee, S. K., Lee, H., Back, J., An, K., Yoon, Y., Yum, K., Kim, S. and Hwang, S.-U., 2021, Prediction of Tire Pattern Noise in Early Design Stage based on Convolutional Neural Network, Applied Acoustics, Vol. 172, p. 107617. [https://doi.org/10.1016/j.apacoust.2020.107617]
• Lee, S.-Y. and Lee, S.-K., 2020, Deep Convolutional Neural Network with New Training Method and Transfer Learning for Structural Fault Classification of Vehicle Instrument Panel Structure, Journal of Mechanical Science and Technology, Vol 34, No. 11, pp. 4489~4498. [https://doi.org/10.1007/s12206-020-1009-3]
• Sandberg, U. and Ejsmont, J. A., 2002, Tyre/road Noise Reference Book, Informex, Sweden
• Leasure Jr, W. A. and Bender, E. K., 1975, Tire-road Interaction Noise, Journal of the Acoustical Society of America, Vol. 58, No.1, pp. 39~50. [https://doi.org/10.1121/1.380662]
• Iwao, K. and Yamazaki, I., 1996, A Study on the Mechanism of Tire/road Noise, JSAE Review, Vol. 17, No. 2, pp. 139~144. [https://doi.org/10.1016/0389-4304(95)00004-6]
• Sandberg, U., 1987, Road Traffic Noise: The Influence of the Road Surface and Its Characterization, Applied Acoustic, Vol.21, No. 2, pp. 97~118. [https://doi.org/10.1016/0003-682X(87)90004-1]
• Ioffe, S. and Szegedy, C., 2015, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Proceedings of Machine Learning Research, Vol. 37, pp. 448~456.