도로유지관리를 위한 음향 및 영상 데이터 기반의 도로포장종류 구분 기계학습모형 연구

1. 서 론

도시의 발전과 국민의 소득 증가로 도로 이용 차량이 증가하였으며, 이를 수용하기 위해 도로 확대 및 고속도로, 자동차 전용도로 건설 등의 대책을 적용하고 있다. 이는 도로 이용자의 편의를 증대시켰으나, 교통관련 소음 민원은 전년 대비 증가율이 2018년에 1.3 %, 2019년 3.9 %로 도심지역에서 꾸준히 문제가 되고 있다⁽¹⁾. 도로교통소음은 불쾌함 또는 수면방해 등의 정신적, 신체적 피해를 입혀 도로 주변 거주민들의 우려가 증가하고 있다^(2,3).

도로교통소음은 크게 엔진소음, 기체소음, 타이어-노면소음으로 구성되어 있으며, 이 소음들의 비중은 차종, 차속 등에 따라 달라진다. 특히, Rassmessen 등⁽⁴⁾의 연구에 따르면 저속에서는 엔진소음의 비중이 가장 크며, 차속이 증가할수록 타이어-노면소음의 비중이 점차 증가한다. 따라서, 고속도로, 자동차전용도로와 같이 차량의 주행속도가 높은 도로에서는 타이어-노면소음이 주된 소음원이라 할 수 있다. 타이어-노면소음은 타이어뿐만 아니라 차량이 주행하는 노면의 상태에 따라 달라지기 때문에 도로의 상태를 파악하고 그에 따라 소음을 관리하는 것이 필요하다. 다만 현재 도로 상태를 조사하는 것은 비용뿐만 아니라 인력이 많이 소모되는 단점이 있어 데이터 수집에 한계가 있다. 다양한 연구들이 이 문제를 해결하기 위해 기계학습을 적용하고 있는 추세이며, 대부분의 연구는 도로 노면이 촬영된 영상을 통해 도로의 상태를 파악한다^(5~7).

이 연구에서는 노면 영상뿐만 아니라 음향 데이터를 복합적으로 사용한 기계학습 모형에 대해 연구하였다. 도로의 상태 중 포장의 종류를 분류하는 기계학습모형을 구축했으며, 학습데이터로 타이어-노면소음 데이터와 노면 영상 데이터를 복합적으로 사용하여 성능이 높고 적용 범위가 넓은 모형을 연구하고자 한다. 먼저 국내 고속도로 6곳의 일부 구간에서 타이어-노면소음과 노면 영상 데이터를 수집, 분석하였다. 그다음으로 랜덤 포레스트 모형을 이용하여 포장 분류에 중요한 영향을 미치는 음향 및 영상 특징들을 선정하고 학습데이터를 구축하였다. 마지막으로 인공신경망 모형에 구축된 학습데이터를 입력하여 학습결과를 비교하였다. 인공신경망 모형은 음향 특징만 입력한 모형, 영상특징만 입력한 모형, 두 가지 특징을 모두 입력한 모형을 구현하였다. 구현된 기계학습모형은 타이어-노면소음 데이터와 노면 영상 데이터로 도로포장 종류를 분류하였으며, 이는 적은 비용과 시간으로 도로의 상태를 파악하면서 소음데이터 수집을 가능하게 한다. 이 연구를 기반으로 지속적으로 도로 상태를 모니터링하여 도로 주변의 소음환경이 개선될 것으로 기대한다.

2. 연구방법

2.1 연구 대상 지역

국내 고속도로의 일부 지점을 대상으로 타이어-노면소음 측정과 노면 영상을 촬영하였다. 타이어-노면소음도 측정방법은 기타 소음을 제외하고 타이어-노면소음을 집중적으로 측정할 수 있는 OBSI⁽⁸⁾ 측정방법을 채택하였다. 측정 지점은 이 연구에서 분류하고자 하는 횡 타이닝(transverse-tined), 종 타이닝(longitudinal-tined), DG(diamond grinding), NGCS(next generation concrete surface), SMA(stone mastic asphalt pavement)가 포함된 지점을 선정하여 측정하였다^(8~10). Table 1은 측정 지점 위치와 각 지점에 설치되어있는 도로포장의 종류이다. 측정 지점은 도로 표면에 파손이 없는 양호한 포장상태이며, OBSI 방법에서 요구되는 최소거리 134 m±3 m를 만족하는 지점으로 선정하였다. 측정 기간은 2020년 8월부터 약 2달간 진행하였으며, 사용된 장비는 Fig. 1에 나타내었다.

Table 1

Types of road pavement at the measurement sites

Fig. 1

Data sampling system

2.2 자료수집 및 분석

(1) 타이어-노면소음

다양한 타이어-노면소음도 측정방법 중 미국도로교통협회인 AASHTO에서 규정하는 On Board Sound Intensity(OBSI) 측정방법을 준용하여 측정하였다⁽¹¹⁾. OBSI 측정방법은 1/3 옥타브밴드 대역 중 400 Hz ~ 5000 Hz 대역의 음의 세기 레벨(L_OBSI)을 측정하여 타이어-노면소음도를 평가한다. OBSI 측정을 위해서는 도로 외부를 접하고 있는 차량의 오른쪽 뒷바퀴에 2개의 인텐시티 프로브를 설치하여 타이어와 노면 사이에서 발생하는 소음의 음의 세기를 측정한다. 이 연구에서는 OBSI 방식으로 측정한 타이어-노면소음의 음의 세기 외에도 음압레벨, 음질지수 5가지에 대해서도 도로에 설치된 포장종류별로 분석하였다. 타이어-노면소음의 분석은 0.1초 단위로 수행 후 기계학습 모형에 입력하였다. 기계학습모형의 학습에 앞서 각 도로포장의 종류별로 측정된 음 세기 레벨, 음질지수 등의 비교를 수행하였다. 6개의 지점에서 측정된 소음데이터를 도로포장의 종류별로 구분한 뒤 평균하여 비교하였으며 포장종류별 측정값은 Table 2에 나타냈다.

Table 2

Acoustic analysis of tire-pavement noise

음의 세기 레벨(L_OBSI)을 도로포장종류에 따라 비교하였을 때, 횡 타이닝이 108.6 dBA로 가장 높았으며, 종 타이닝과 NGCS 포장이 101.6 dBA, 101.7 dBA로 가장 낮은 값이 측정되었다. 이외의 DG와 SMA의 경우 103.5 dBA, 103.8 dBA로 유사한 값을 보였다. 음압 레벨도 음의 세기 레벨과 유사하게 횡 타이닝에서 소음도가 가장 높았으며, 종 타이닝과 NGCS에서 가장 낮은 값이 측정되었다. 타이닝의 간격 및 종류에 따라 다른 주파수특성을 가지며, 특히 콘크리트 포장의 경우 사람에게 불쾌감을 유발시킬 수 있는 순음을 발생시키는 특성이 있다⁽¹²⁾. 이러한 주파수특성을 고려하기 위해 음질지수 loudness, sharpness, roughness, fluctuation strength, tonality에 대해 분석을 진행하였다. Loudness는 횡 타이닝에서 307.0 sone으로 가장 높은 값을 보였다. 그다음은 DG가 263.9 sone으로 분석되었다. Sharpness 분석 결과 5가지의 포장 중 횡 타이닝에서 다른 포장에 비해 약 0.8 acum ~ 1.1 acum의 높은 값을 가졌으며, 나머지 포장들은 유사한 값이 나타났다. Roughness와 fluctuation strength의 경우에는 포장종류별 평균값으로 비교하였을 때, 종류에 따라 명확한 차이를 보이지 않았다. 마지막으로 tonality는 횡 타이닝에서 7.2 tu로 다른 포장에 비해 높은 값을 보였으며 음질지수 중 가장 두드러지는 특징을 보였다.

도로포장종류별 주파수특성을 분석하기 위해 FFT분석을 진행하였고 모든 포장에서 800 Hz ~ 1000 Hz 주파수대역이 주요 소음으로 발생하는 것을 확인하였다. 특히, 다섯 가지의 포장 종류 중 횡-타이닝에서 발생하는 소음은 900 Hz 부근에서 피크값이 나타나는 특징을 보였으며, Fig. 2를 통해 확인할 수 있다.

Fig. 2

FFT analysis at representative sites

이처럼 횡 타이닝의 경우, 900 Hz 부근에서 나타나는 피크로 인해 다른 포장 음압레벨과 음질지수가 구분되는 것으로 판단된다.

(2) 노면 영상의 분석 방법 및 결과

노면 영상은 차량 후면에 부착된 카메라를 통해 초당 30프레임으로 촬영하였다. 수집된 영상 중 도로포장 분류에 방해가 되는 그림자, 도로노면표시 등이 포함된 영상은 제외하여 사용하였으며, 촬영한 영상을 프레임 단위의 사진으로 변환한 후 프레임마다 도로의 표면이 두드러지는 지점을 관심 영역(region of interest, ROI)으로 지정하여 이미지 프로세싱 기법을 적용하였다. 포장종류별 대표지점의 노면 이미지를 Fig. 3에 나타내었으며, ROI 적용 예시는 Fig. 3(a)에 나타내었다. 다른 이미지에서도 모두 동일한 ROI를 적용하였다. 이미지 특징 추출에 사용된 알고리즘은 허프 변환(Hough transform)과 HOG(histogram of oriented gradient)이며, MATLAB R2020a를 사용하였다.

Fig. 3

Sampled road surface images

첫 번째로 허프 변환은 영상에서 직선을 검출하기 위해 주로 사용되는 알고리즘으로 이 연구에서는 종 방향 직선을 추출하기 위해 적용하였다. Fig. 4에 나타난 것과 같이 횡 타이닝과 SMA와 같이 종 타이닝이 존재하지 않는 포장의 경우 추출된 종 방향 직선 개수의 평균값은 0.4개와 0개로 나타났다. 이를 제외한 포장은 종 타이닝이 적용된 포장으로 평균적으로 50개 이상의 직선이 추출되었다.

Fig. 4

The number of longitudinal lines extracted through Hough transform algorithm

두 번째로 HOG 알고리즘은 영상 내의 구역별로 명암의 기울기 방향 성분의 발생 빈도를 누적시켜 히스토그램을 생성한다. 이 알고리즘 또한, 타이닝의 방향 및 깊이에 영향을 받으며, 방향(gradient orientation)의 크기(gradient magnitude)에서 차이를 보이게 된다. 또한, ROI를 네 개의 셀로 나눈 후 각 셀의 히스토그램을 분석하였으며, 포장종류별 분석된 결과의 평균을 Fig. 5에 나타내었다. 종 타이닝이 있는 경우 수직 방향(80° ~ 100°)에서 높은 값을 보였으며, 횡 타이닝이 있는 경우는 이와 반대로 수평 방향(0° ~ 20°, 160° ~ 180°)에서 높은 값을 보였다. 다만, DG의 경우 수직 방향과 수평 방향에서 비슷한 값을 보였다. 이는 이 연구에서 측정한 DG 포장이 Fig. 3(d)처럼 기존의 횡 타이닝 포장에 바퀴가 닿는 면만 DG 포장을 시공하여 두 가지 포장이 복합적으로 구성되어 있어 나타난 결과로 판단된다. 타이닝이 존재하지 않는 SMA의 경우 DG와 유사하게 수평과 수직 방향에서 유사한 값이 나타났으며, 다른 포장에 비해 방향별 값의 차이가 작게 나타났다.

Fig. 5

HOG value by pavement type

2.4 인공신경망 모형 구현

이 연구에서 구현하고자 하는 모형은 총 세 개로 사용되는 입력데이터에 따라 나뉜다. 첫 번째 모형(M1)은 측정방법을 통해 측정된 도로포장별 음향 데이터를 입력데이터로 사용한 모형이며, 두 번째 모형(M2)은 도로포장별 추출된 이미지 특징 데이터를 입력데이터로 사용한 모형이다. 마지막으로 세 번째 모형(M3)은 음향 데이터와 이미지 데이터를 모두 입력데이터로 사용한 모형으로, 두 데이터가 동시에 존재하는 데이터를 선별하여 사용하였기 때문에 M1과 M2에 비해 적은 데이터의 개수를 가졌다. 각 모형의 변수는 랜덤 포레스트 모형을 통해 선정된 주요 변수들로 구성하였다.

인공신경망 모형은 데이터를 받아들이는 입력층(input layer)과 계산된 데이터를 생성하는 출력층(output layer), 입력층과 출력층을 연결하는 은닉층(hidden layer)으로 나눌 수 있다. Python을 활용하여 2개의 은닉층을 가진 인공신경망을 구현하였다. 이 연구에서 검토한 결과를 토대로 높은 효율을 가지는 매개변수를 설정하였다. 훈련데이터와 테스트데이터의 비율을 2:1로 설정하였으며, 활성화 함수의 경우 은닉층에는 ReLU함수, 출력층에는 소프트맥스 함수를 사용하였다. ReLU(rectified linear unit)는 가장 많이 사용되는 활성화 함수 중 하나로, 0보다 작은 값이 나온 경우 0을 반환하고, 0보다 큰 값이 나온 경우 그 값을 그대로 반환한다⁽¹⁵⁾. 소프트맥스(Softmax)는 신경망의 출력층에서 사용하는 활성화 함수로, 입력받은 값을 출력으로 0 ~ 1 사이의 값으로 모두 정규화하며 출력값들의 총합은 항상 1이 되는 특성을 가진다⁽¹⁶⁾. 소프트맥스 함수를 통과한 출력 값 가운데 가장 높은 값이 나타난 노드가 정답으로 선택된다. 또한, 과적합 문제를 방지하기 위해 AdaGrad와 drop-out을 적용하였으며^(17,18), drop-out의 비율은 0.5로 설정하였다. 모형별로 최적의 분류성능을 가지는 학습 횟수(epoch)와 은닉층의 노드수를 적용하였다. 구성된 인공신경망 모형은 Table 3과 같다.

Table 3

Training conditions and accuracy of the three artificial neural network models

3. 연구결과

구현된 3개 모형의 매개변수 설정값과 분류정확도를 Table 3에 나타내었다. M1의 분류정확도는 90.8 %였으며, M2는 88.8 %로 나타났다. M1과 M2의 입력데이터를 모두 사용한 M3의 경우 두 모형에 비해 약 7.5 % 상승한 97.3 %의 정확도를 보였다.

각 모형에 대해 포장별 분류결과를 분석하였으며, M1의 오분류표(confusion matrix)인 Table 4를 통해 확인할 수 있듯이 전반적으로 81 % 이상의 높은분류정확도를 보였다. 특히, 횡 타이닝의 분류정확도가 97.7 %로 가장 높았다. 이는 2.2절 (1)에서 분석한 결과와 같이 횡 타이닝은 다른 포장과 구분되는 특징을 가져 나타난 결과로 판단된다. 다만, NGCS 포장과 DG에서 다소 낮은 81.3 %와 82.4 %로 정확도를 보였다. NGCS의 경우 SMA로 오분류되는 경우가 가장 많았다. 상대적으로 분류가 잘되는 종 타이닝에서도 SMA로 혼동하는 비율이 높다.

Table 4

The classification results of ANN model using acoustic features data (M1)

M2의 포장별 분류결과는 Table 5에 확인할 수 있듯이, 다른 모형에 비해 포장별 분류 편차가 크게 나타났다. NGCS 포장의 분류정확도는 98.9 %로 100 %에 가까운 높은 정확성을 보였으나, DG 포장의 분류정확도는 51.2 %로 매우 낮게 나타났다. 특히 M2 모형은 DG를 횡 타이닝으로 혼동하는 비율이 37.4 %로 나타났다. 2.2절의 (2)에서 노면 영상 분석 시 언급한 것과 동일하게 이 연구에서 측정한 DG포장의 경우 횡 타이닝의 포장과 DG의 포장이 복합적으로 구성되어 있어 나타난결과로 보인다. NGCS의 정확도는 98.9 %로 M1의 81.3 %보다 17.6 %가 높게 나타났다. 특히 M1에서는 SMA로 오분류되던 문제가 사라졌다. 이는 이미지 데이터가 NGCS를 분류하는 데 강점을 가지는 것으로볼 수 있는데 Fig. 4에서 확인 가능한 NGCS와 SMA의 직선 개수 차이와 Fig. 5에서 확인 가능한 HOG 값의 분포 차이로 보인다.

Table 5

The classification results of ANN model using image features data (M2)

M3는 음향 및 이미지 특징을 모두 사용한 모형으로 포장별 분류결과를 Table 6에 나타내었다. M3 모형의 경우 모든 포장 종류에서 높은 분류성능을 보였다. 특히, 종 타이닝과 NGCS에서는 100 %에 가까운 성능을 보였으며, DG 포장에서 가장 낮은 정확도를 보였으나, M1과 M2보다 상승한 91.7 %의 분류성능을 보였다. 이는 DG의 이미지에 횡 타이닝이 동시에 나타나지만, 소음 발생에는 영향을 주지 않기 때문에 음향 데이터가 분류성능을 높인 것으로 보인다.

Table 6

The classification results of ANN model using acoustic and image features (M3)

4. 결 론

이번 연구에서는 음향 및 이미지 데이터를 사용하여 도로포장을 분류하는 기계학습모형을 구현하고 성능을 비교·분석하였다. 음향 데이터는 OBSI 측정방법을 통해 도로포장종류별로 수집 및 분석하였으며, 동시에 촬영된 노면 영상을 다양한 이미지 특징 추출 알고리즘을 통해 분석하였다. 분석된 데이터를 랜덤 포레스트에 입력하여 분류에 주요한 영향을 미치는 변수들을 선정한 후 입력변수에 따라 인공신경망 모형 M1, M2, M3를 구현하였다. M1과 M2의 변수를 복합적으로 사용한 M3의 경우 하나의 특징을 사용한 M1, M2에 비해 약 7 % 정도 상승한 97.7 %의 분류정확도를 보였다. 또한, 두 모형에서 분류정확도가 높고 낮은 포장종류가 달랐으며, 복합적으로 특징을 사용함으로써 상호보완하여 각 포장별 분류결과에서도 전반적으로 상승된 분류성능이 나타나는 것을 확인할 수 있었다. 이 연구에서 구현된 모형은 추후 포장의 종류를 확인하기 어려운 지점에서도 포장 종류별 소음도 측정이 가능하여 데이터 축적을 용이하게 할 것으로 예상한다. 축적된 데이터는 적절한 포장 종류 선정 또는 변경에 기초자료로 사용하여 도로주변에서 발생하는 소음민원을 저감시키는데 기여할 것으로 예상된다.

다만 특이점을 제거한 데이터를 사용한 모형이며, 포장종류가 5종류에 제한된다는 한계가 있어 음향과 이미지 데이터의 전처리 연구, 추가적인 포장종류 분석 등의 연구가 필요할 것으로 판단된다. 또한, 타이어-노면소음은 포장의 종류뿐만 아니라 노후도에 영향을 받기 때문에 이 연구를 기반으로 추가적인 연구가 진행된다면 더욱 효율적으로 소음환경을 고려한 도로관리가 가능할 것으로 예상된다.

Acknowledgments

이 연구는 교육부의 2020학년도 대학혁신지원사업의 지원을 통해 수행되었음.

References

• Ministry of Environment Republic Korea, 2020, Performance of noise and vibration management policies by city and province in 2019, Ministry of Environment Republic Korea.
• World Health Organization, 2018, Environmental noise guidelines for the European region, World Health Organization.
• Jo, K. S., Hwang, D. S., Cho, Y. and Hur, D. J., 2007, Study of the Annoyance Sensitivity for he Frequency Band of Road Traffic Noise, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 17, No. 5, pp. 398~404. [https://doi.org/10.5050/KSNVN.2007.17.5.398]
• Rasmussen, R. O., Bernhard, R. J., Sandberg, U. and Mun, E., 2007, The Little Book of Quieter Pavements, U.S. Department of Transportation Federal Highway Administration.
• Slavkovikj, V., Verstockt, S., De Neve, W., Van Hoecke, S. and Van de Walle, R., 2014, Image-based Road Type Classification, 22nd International Conference on Pattern Recognition, pp. 2359~2364. [https://doi.org/10.1109/ICPR.2014.409]
• Sun, Z. and Jia, K., 2013, Road Surface Condition Classification Based on Color and Texture Information, IEEE, 2013 Ninth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp. 137~140. [https://doi.org/10.1109/IIH-MSP.2013.43]
• Fauzi, A. A., Utaminingrum, F. and Ramdani, F., 2020, Road Surface Classification Based on LBP and GLCM Features Using kNN Classifier, Bulletin of Electrical Engineering and Informatics, Vol. 9, No. 4, pp. 1446~1453. [https://doi.org/10.11591/eei.v9i4.2348]
• Ministry of Environment Republic Korea, 2006 Development of Pavement Texture for Lower Noise and Longer Life on High Speed Highway, Ministry of Environment Republic Korea.
• Korea Expressway Corporation, 2014, Study for Optimization of the Cement Concrete Pavement in Tunnel Considering Conditions of Environments and Substructures, Korea Expressway Corporation.
• Korea Expressway Corporation, 1998, A Study on Application and Optimization of Stone Masstic Asphalt Pavement, Korea Expressway Corporation.
• AASHTO Designation: TP 76-15, Standard Method of Test for Measurement of Tire/Pavement Noise Using the On-board Sound Intensity (OBSI) Method, AASHTO.
• Park, J. W., Choi, T. H. and Cho, Y. H., 2005, Noise Reducation of Concrete Pavement through Application of Random Transverse Tining. International Journal of Highway Engineering, Vol. 7, No. 4, pp 125~140.
• Breiman, L., 2001, Random forests, Machine learning, Vol. 45, No. 1, pp. 5~32. [https://doi.org/10.1023/A:1010933404324]
• Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O. et al., 2011, Scikit-learn: Machine Learning in Python, Journal of Machine Learning Research, Vol. 12, pp. 2825~2830.
• Nair, V. and Hinton, G. E., 2010, Rectified Linear Units Improve Restricted Boltzmann Machines. Proceedings of the 27th International Conference on Machine Learning, pp. 807~814.
• Costa, M., 1996, Probabilistic Interpretation of Feedforward Network Outputs, with Relationships to Statistical Prediction of Ordinal Quantities, International Journal of Neural Systems, Vol. 7, No. 5, pp. 627~637. [https://doi.org/10.1142/S0129065796000610]
• Duchi, J., Hazan, E. and Singer, Y., 2011, Adaptive Subgradient Methods for Online Learning and Stochastic Optimization, Journal of Machine Learning Research, Vol. 12, No. 7, pp. 2121~2159
• Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I. and Salakhutdinov, R. R., 2012, Improving Neural Networks by Preventing Co-adaptation of Feature Detectors, arXiv preprint arXiv:1207.0580, .