Transactions of the Korean Society for Noise and Vibration Engineering
[ Article ]
Transactions of the Korean Society for Noise and Vibration Engineering - Vol. 30, No. 4, pp.373-379
ISSN: 1598-2785 (Print) 2287-5476 (Online)
Print publication date 20 Aug 2020
Received 11 May 2020 Revised 31 Jul 2020 Accepted 31 Jul 2020
DOI: https://doi.org/10.5050/KSNVE.2020.30.4.373

통과소음도를 이용한 차종 분류 기계학습 모형

이재관* ; 김보경* ; 노유진* ; 장서일
Machine Learning Model for Classification of Vehicles Using Pass-by Noise Level
Jaekwan Lee* ; Bo Kyeong Kim* ; Yu jin Noh* ; Seo Il Chang
*Member, Dept. of Environmental Engineering, University of Seoul, Student

Correspondence to: Member, Dept. of Environmental Engineering, University of Seoul, Professor E-mail : schang@uos.ac.kr # A part of this paper was presented at the KSNVE 2020 Annual Spring E-Conference

‡ Recommended by Editor Chan Jung Kim




© The Korean Society for Noise and Vibration Engineering

Abstract

Artificial neural network model was utilized to classify vehicle types into motorcycle, light and heavy vehicles by using pass-by noise datasets. For the training, three sample datasets were collected from a one-lane and one-way road. These datasets are for 1 s pass-by maximum, 3 s pass-by maximum, and pass-by noise from maximum to below 10dB. The three datasets were analyzed to provide Z- and A-weighted and 1/3 octave band sound levels for the training. It was found that the 1 s pass-by maximum dataset led to the best explanatory power(R-square, 98.5%). The machine learning model with the 1 s pass-by maximum dataset was tested for two different roadsides and it was found that the explanatory power was greater than 90%.

Keywords:

Vehicle Classification, Artificial Neural Network, Road Traffic Noise

키워드:

차종 분류, 인공신경망, 도로소음

1. 서 론

소음·진동관리법 제4조 2에는 교통기관에서 발생하는 소음을 관리하기 위해 소음지도를 작성할 수 있음을 명시하고 있다(1). 또한, 유럽 연합 환경지침에서는 100 000명 이상의 주민이 사는 지역과 연간 3백만 대 이상의 차량이 지나가는 도로에 소음지도 작성이 필수적이다(2). 소음지도는 인구가 밀집되고 교통이 복잡해지는 현시대에 효과적으로 소음을 관리하기 위한 필수적인 절차가 되었다. 소음지도 작성시 예측된 소음도를 실측값과 비교하여 평균 오차가 3 dB 이하일 때 검증이 완료된 소음지도라 할 수 있다(3). 소음지도의 검증을 위해서는 도로소음 발생현장에서 실제 측정이 필요하며 교통량, 차속, 차종 등을 수집하여야 한다. 교통량 정보는 현장에서 사람이 직접 수집하거나 영상촬영 후 수작업으로 구분하는 것이 일반적이다. 대상도로의 차선이 많아지면 구분을 위한 시간이 많이 소요되고 야간에 측정할 경우 정확성이 떨어질 수 있다. 이러한 문제를 해결하고자 도로에서 측정한 소음정보를 기계학습모형에 입력하여 추가적인 작업 없이도 차종을 구분하여 차종별 대수 산정에 사용하고자 한다.

최근 기계학습을 소음 분야에 적용하여 시간과 비용을 절약하고자 하는 연구가 많이 수행되고 있다(4). 이 연구에서도 기계학습을 활용하여 차량 구분을 위해 소요되는 시간을 최소화하고 정확성을 높이고자 한다. 다양한 기계학습 방법 가운데 대표적인 인공신경망(artificial neural network)을 사용하였다. 소음계에서 수집되는 초당 소음도와 1/3 옥타브밴드 소음도를 모형에 입력하여 이륜차, 소형차, 대형차, 비통과로 분류하도록 하였다. 또한, 입력데이터로 사용하려는 통과소음도의 분석방법이 정해져 있지 않아 3가지의 분석방법으로 각각의 데이터세트를 구축한 후 기계학습 모형에 적합한 통과소음도 데이터세트 구축방법을 선택하고자 한다.


2. 연구 방법

2.1 통과소음 수집 및 분석

기계학습모형에 사용할 학습데이터는 자동차 통과소음을 도로에서 측정하여 구축하였다. 측정 위치는 서울시립대학교 내이며, 차속 제한 30 km/h인 일방통행 1차선 직선도로이다. 해당 도로는 과속방지턱 등의 장애물이 없고, 실제 통과하는 차량의 속도는 20 km/h ~ 40 km/h이다. 단, 이륜차의 경우 20 km/h ~ 80 km/h의 넓은 범위의 속도로 운행되었다. 소음과 차종 수집은 소음계(Rion NL-52)와 카메라(GoPro HERO7, Kodak SP360)를 이용하였다. 소음측정은 소음·진동 공정시험기준을 참고하여 청감보정회로 A특성, 동특성 fast 모드로 1초당 등가소음도와 1/3 옥타브밴드를 측정하였다(5). 측정기기는 Fig. 1과 같이 도로 중심선으로부터 2 m, 지면 위 6 m 높이에 설치하였다. 학습데이터 수집 시기는 2020년 1월 ~ 2월이며 눈, 비 등이 오지 않았던 10일간 진행하였다. 2일 ~ 3일 간격으로 주로 오후 시간대(13시 ~ 18시)에 수집하였으며 저녁 이후(19시)부터 오전(10시)까지 심야시간의 데이터도 4일간 수집, 분석하였다.

Fig. 1

Noise and video collection for learning dataset

차량이 1대 통과할 때마다 소음도를 3가지 방법으로 분석해 사용하였다. 첫 번째 방법은 차량이 1대 통과할 때마다 측정된 초당 등가소음도 중 가장 높은 1초의 값과 그때의 1/3 옥타브밴드를 값을 대표 통과소음도로 정한 방법이다(최고소음도 방법). 두 번째 방법은 첫 번째 방법으로 선택된 최고소음도와 앞뒤 1 초씩의 소음도를 추가로 선정하여 총 3초간의 소음도 값들을 대표 통과소음도로 정하는 방법이다(최고소음도 ±1초 방법). 세 번째 방법은 첫 번째 방법에서 선택된 소음도에서 10 dB 아래까지 감소하는 범위를 선택하고 그 선택된 시간 동안의 등가소음도를 대표 소음도로 하는 방법이다(등가소음도 방법). 차량통과소음 외에 특별한 소음이 발생하지 않았던 시간대의 소음도를 추출해 ‘비통과’라 명명하여 사용하였으며, 추후 학습이 완료된 모형이 차량 통과소음 외의 소음을 비통과 소음이라고 인식하게 하도록 학습하는 데 이용하였다.

각 방법별로 분석된 통과소음과 비통과 소음을 모아 3개의 데이터세트를 구축하였다. 데이터세트에서 한 개의 데이터는 소음도(입력데이터)에 소음원(정답데이터)이 라벨링 된 형태이다. 입력데이터는 1대의 차량이 통과할 때마다 수집된 LAFeq, LZFeq A 가중 1/3 옥타브밴드 값이고 정답데이터는 각 소음도마다 라벨링되는 ‘소형차’, ‘대형차(2.5톤 이상)’, ‘이륜차’, ‘비통과‘이다. 차량이 연속하여 통과하는 경우를 제외하고 총 3685대의 차량의 소음도가 수집되었고 소형차 2623대, 대형차 49대, 이륜차 1013대이다. 대형차의 대수가 소형차와 이륜차보다 상대적으로 적게 수집되어 대형차 통과소음 데이터를 10배로 늘려 학습데이터를 만들었다(6). 비통과 소음 데이터는 전체 차량 대수와 비슷하게 3471개로 구성하였다. 각 데이터세트별 데이터 수는 최고소음도와 등가소음도 세트는 각각 7597개(차량 4126개, 비통과 3471개), 최고소음도 ±1초 세트는 15 849개(차량 12 378개, 비통과 3471개)이다. 3개의 데이터세트 가운데 최고소음도 데이터세트를 구성하는 각 차종별, 비통과 소음의 1/3 옥타브밴드 소음도 평균값을 Fig. 2에 나타내었다.

Fig. 2

Average of 1/3 octave band sound levels for each vehicle on the maximum noise dataset

2.2 차종 분류 기계학습모형 구성

학습데이터를 구축한 후 파이썬을 활용해 차종 분류 기계학습모형을 구현하고 모형의 성능을 검증하였다. 분류모형은 인공신경망을 이용해 구성하였다. 인공신경망 모형은 다수의 노드로 구성된 입력층, 은닉층, 출력층이 유기적으로 연결되도록 구성된다. 특히 은닉층 수, 은닉층의 노드 수, 각 층의 활성화 함수 등에 따라 모형의 성능이 달라지기 때문에 해당 구성요소를 적절히 설정하는 것이 중요하다.

입력층과 출력층의 노드 수는 입력데이터와 정답데이터의 수인 32와 4로 각각 설정하였다. 은닉층 수는 변화가 가능한데, 은닉층 수를 증가시켜 모형을 비교하였으나 정확성에서 큰 차이를 보이지 않았고, 은닉층 수가 늘어날수록 소요되는 학습시간이 증가하였다. 따라서 시간과 정확성을 비교하였을 때 효율성이 높은 2층의 은닉층을 구성하였다. 은닉층의 수를 결정한 후 은닉층 노드의 개수를 선정하였다. 모형의 성능은 은닉층 노드의 수에 따라 달라지는데 은닉층의 노드 수의 증가에 따른 정확도는 Fig. 3에 나타내었다. 분류 정확성의 오차 범위를 고려하여 최고 정확도와 0.5 % 이내의 차이를 보이는 노드 중 가장 적은 노드의 개수를 선택하였다. 다만 세 개의 모델에서 모두 은닉층 노드 수가 상대적으로 적을 때에도 70 % 이상의 높은 정확도를 보였다. 이를 확인하기 위해 최고소음도의 학습 데이터세트를 사용하여 은닉층의 노드 수가 2개일 때와 최종 선택된 78개일 때의 오분류표를 Table 1에 나타내었다. 노드 수를 2개로 선정하였을 때, 전체적인 정확도는 높았으나 이륜차와 대형차를 구분하지 못하는 것을 확인하였으며, 다른 데이터세트에서도 같은 경향성을 확인하였다. 이는 Fig. 2에서도 확인할 수 있는 주파수 구성이나 소음도에서 비교적 명확한 차이를 보이는 소형차와 비통과 데이터는 적은 수의 노드로도 분류가 가능하다고 판단된다. 최종적으로 연구에서 사용한 인공신경망의 구성은 Fig. 4에 나타내었다.

Fig. 3

Comparison of the accuracy of test data according to the number of nodes in the hidden layer for each dataset

Confusion matrix of test data on the maximum noise dataset with 2, 78 hidden nodes

Fig. 4

A neural network used in this study

학습 전 데이터세트를 모형에 입력하기 위해 전처리 작업을 진행하였다. 입력데이터의 범주를 동일하게 해주는 표준화와 정답데이터를 0과 1의 값으로 구성된 벡터로 표시하는 원-핫 인코딩을 진행하였다. 전처리가 끝난 데이터는 2 : 1의 비율로 나누어 학습데이터와 시험 데이터로 사용되었다. 각 층 사이에 존재하는 가중치와 편향은 순전파를 통해 계산되고, 역전파 과정을 통해 수정되며 출력 결과와 실제 값의 오차를 줄이도록 하였다(7). 기울기 소실 문제를 방지하기 위해 은닉층의 활성화 함수는 ReLU를 사용하였고(8), 출력층의 활성화 함수는 분류 문제에 적합한 소프트맥스 함수를 사용하였다(9). 또한, 훈련 데이터가 과도하게 적합되어 새로 입력되는 데이터를 올바르게 추정하지 못하는 과적합 문제를 방지하기 위해 AdaGrad(10)와 Drop-out(11)을 적용하였다. 모형을 학습시킨 후 학습 횟수(epoch)별 학습데이터와 시험 데이터의 오차율을 그래프를 Fig. 5에 나타내었다. 학습 횟수가 일정수준 이상에서부터 정확도에 큰 영향을 미치지 않아 최종적으로는 모형을 2000회 학습시킨 후 정확도를 비교하였다. 다만 최고소음도 ±1초 데이터세트를 사용한 모형에서는 과적합이 나타난 것을 확인하였다.

Fig. 5

The error rate of train data and test data over epoch number

2.3 통과소음도 분석방법별 모형 비교

Table 2은 통과소음도 분석방법별 기계학습모형의 조건과 정확도를 나타냈다. M1은 최고소음도 데이터세트를 사용한 모형, M2는 최고소음도 ±1초 데이터세트를 사용한 모형, M3는 등가소음도 데이터세트를 사용한 모형을 의미한다. 정확도를 통해 모형의 차종 분류성능을 판단하였을 때, 최고소음도와 그 1/3옥타브 밴드를 사용하는 것이 가장 정확도가 높은 것을 확인하였다.

Training conditions and results of three machine learning models

세부적으로 모형의 성능을 평가하기 위해, 분류모형 성능평가 시 이용되는 혼동 행렬을 사용하여 분석하였다(12,13). 혼동 행렬은 학습된 모형의 예측값과 실제값을 비교하기 위한 행렬이다. 이 행렬을 통해 모형의 예측성능을 파악할 수 있는 지표들을 계산할 수 있다. Precision은 예측한 값 중에 실제 정답과 일치하는 비율을 의미하고 recall은 실제 정답 중에 예측된 값과 일치하는 비율을 말한다. F1-score는 precision과 recall의 조화평균을 계산한 값이고, 앞선 두 개의 지표를 모두 고려하여 모형의 성능을 판단할 수 있다. 단순평균은 각 차종의 성능평가 결과를 평균한 값이고, 가중평균은 각 차종의 성능평가 결과를 표본 개수로 가중 평균한 값을 의미한다.

Table 3에 모형의 성능평가 결과를 나타내었다. 가중평균은 데이터 간의 편차를 고려하여 사용할 수 있는 평균이다. 이 연구에서는 데이터 간의 편차가 존재하더라도 정확하게 분류해낼 수 있도록 하는 것이 필요하므로 단순평균을 통해 모형의 성능을 평가하고자 한다. 세 가지 모형의 precision과 recall의 값을 모두 고려했을 때, M1이 모두 0.98의 값을 가지므로 세 모형 중 가장 높은 분류성능을 보였다. F1-Score를 기준으로 각 차종 간 성능 차이가 M1의 경우 최대 0.04, M2의 경우 0.12, M3의 경우 0.05의 차이를 보였다. M1과 M2의 경우 차종 간 분류에서 고른 성능 결과를 가진다고 판단된다. 각 모형을 세부적으로 평가하였을 때, M1의 경우 비통과 소음 분류 정확도가 가장 높았고, 다른 차량에 비해 이륜차량을 분류하는 성능이 떨어졌다. M1 모형이 이륜차로 오분류한 데이터는 실제로는 대부분 소형차량임을 확인하였다. M2의 경우 대형차의 precision의 값은 0.99이나, recall 값이 0.76으로 낮은 수치를 보이며 이는 모형이 대형차량이라 예측한 것은 대부분 옳았으나, 실제 대형차량을 이륜차, 소형차, 비통과 중 하나의 값으로 분류한 소음도들이 24 % 정도 존재하는 것을 의미한다. M3도 M1과 유사하게 비통과 소음의 분류 정확도가 높으며, 이륜차의 분류 정확도가 가장 낮았다. F1-score로 M1과 비교하였을 때, M1이 M2보다 전반적으로 0.01 정도 높은 수치를 보였다. 결론적으로 앞서 모형의 설명력을 비교하였던 정확도와 추가적으로 진행한 모형의 성능평가 지표들에서 모두 M1의 설명력이 가장 높았다.

Evaluation measures for the models

2.4 최고소음도 모형 활용

2.3절을 통해 세 가지 모형 중 M1의 설명력과 분류성능이 가장 높은 것을 확인하였다. M1의 활용성을 평가하기 위해, 추가로 시험 데이터를 수집하여 분류성능을 평가하였다. 이 연구에서 데이터 수집이 일방통행 1차선에서 진행되었다는 한계점을 고려하여, 왕복 2차선으로 구성된 지점 A, B를 선정하여 시험 데이터를 수집하였다. 지점 A는 왕복 2차선으로 차속이 30 km/h로 제한된 구간이며, 방지턱 등의 방해물과 도로구배 변화가 존재하지 않는 지점이었다. 지점 B도 A와 마찬가지로 왕복 2차선의 차속이 30 km/h로 제한된 구간이었으나, 측정지점 50 m 이내에 방지턱과 커브길이 존재하는 지점이었다. 지점 A는 도로 중심선으로부터 5.3 m, 지면 위 1.5 m 높이에서 측정하였고, 지점 B는 도로 중심선으로부터 5.4 m, 높이 1.5 m 위치한 지점에서 측정하였다.

각 지점에서 차량이 통과할 때의 최고소음도를 추출하여 시험 데이터를 생성하였다. 사용된 데이터의 개수는 Table 4에 나타내었다. 비통과 데이터의 경우 통과소음도와 비슷한 개수의 데이터를 추출하여 사용하였다. M1을 사용하여 지점 A, B에서 측정된 차종을 분류하였을 때, 각각 94.16 %와 90 %의 정확성을 보였다. 두 지점에서 모두 90 % 이상의 정확성을 보였으며, 이를 통해 이 연구에서 구현한 M1이 제한적인 상황의 2차선 도로에서도 적용 가능하다는 것을 확인하였다.

Results of applying M1 on Site A, B


3. 결 론

이번 연구에서는 기계학습모형을 활용하여 차량의 통과소음도를 통해 차종을 분류하였다. 통과소음도 분석방법을 세 가지로 나눠 최고소음도, 최고소음도 ± 1초, 등가소음도 데이터세트를 구성하였다. 각각의 데이터세트를 통해 차종을 분류하는 기계학습 모형을 구현한 후 모형의 설명력을 비교하였다. 기계학습 분류모형의 성능을 평가할 수 있는 혼동 행렬을 사용하여 가장 높은 설명력과 분류성능을 가진 모형을 선정하였다. 3개의 모형 가운데 차량이 통과하는 동안의 최고소음도를 통과소음도로 사용하여 차종을 분류하는 모형의 설명력과 분류성능이 가장 높은 것을 확인하였다.

설명력이 높은 모형을 선정한 후, 추가로 수집된 데이터로 모형의 활용 가능성을 확인하였다. 추가로 데이터를 수집한 두 지점은 일방통행 1차선이 아닌 왕복 2차선으로 구성된 지점이었다. 두 지점 A, B에서 수집된 데이터를 구현된 최고소음도 모형에 대입한 결과, 두 지점에서 모두 90 % 이상의 정확성을 보였다. 이 결과를 통해 구현된 모형이 측정지점과 다른 도로상황에서도 차종을 분류할 수 있다는 것을 확인하였다. 다만, 추가로 측정된 지점 또한 모든 도로의 상황을 대변할 수 없다. 따라서 차선, 속도, 도로포장 등의 다양한 도로상황을 반영할 수 있는 모형에 관한 추가적인 연구가 필요하다. 또한, 직접 정답을 추가하지 않더라도 데이터를 군집화하여 분류하도록 하는 비지도 학습이나 sound quality index 등의 추가적인 음향인자를 입력데이터로 사용하는 방법, CNN, RNN 등의 발전된 딥러닝 기술을 사용하면 더 세분화하여 차종을 구분할 것으로 예상한다.

References

  • Ministry of Environment Republic Korea, 2018, Noise and Vibration Control_Act, Act No. 15834.
  • European Parliament and Council of the European Union, 2002, Assessment and Management of Environmental Noise (EU Directive), Official Journal of the European Communities, L 189/12.
  • Ministry of Environment, 2016, Methodology for Making Noise Map, Notice No. 2016-117.
  • Kim, P., Ryu, H. J., Jeon, J. J. and Chang, S. I., 2019, Artificial Neural Network Model Development based on Road-traffic Noise and Urban Form Indicators, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 29, No. 5, pp. 577~583. [https://doi.org/10.5050/KSNVE.2019.29.5.577]
  • National Institute of Environmental Research, 2019, Notice No. 2019-62, Noise and Vibration Standard Process Test, Measurement Method of Exterior Noise Emitted by Road Vehicle for Management Standards, ES 03304.1c.
  • Nakajima, Y., Naito, T., Sunago, N., Ohshima, T. and Ono, N., 2016, DNN-based Environmental Sound Recognition with Real-recorded and Artificially-mixed Training Data, In INTER-NOISE and NOISE-CON Congress and Conference Proceedings, Vol. 253, No. 7, pp. 1832~1841.
  • Rumelhart, D. E., Hinton, G. E. and Williams, R. J., 1986, Learning Representations by Back-propagating Errors, Nature, Vol. 323, pp. 533~536. [https://doi.org/10.1038/323533a0]
  • Nair, V. and Hinton, G. E., 2010, Rectified Linear Units Improve Restricted Boltzmann Machines. In Proceedings of the 27th International Conference on Machine Learning, pp. 807~814.
  • Costa, M., 1996, Probabilistic Interpretation of Feedforward Network Outputs, with Relationships to Statistical Prediction of Ordinal Quantities. International Journal of Neural Systems, Vol. 7, No. 5, pp. 627~637. [https://doi.org/10.1142/S0129065796000610]
  • Duchi, J., Hazan, E. and Singer, Y., 2011, Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research, Vol. 12, pp. 2121~2159.
  • Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I. and Salakhutdinov, R. R., 2012, Improving Neural Networks by Preventing Co-adaptation of Feature Detectors, arXiv Preprint arXiv:1207.0580, https://arxiv.org/abs/1207.0580, .
  • Powers, D. M., 2011, Evaluation: From Precision, Recall and F-measure to ROC, Informedness, Markedness and Correlation, Journal of Machine Learning Technologies, Vol. 2, No. 1, pp. 37~63.
  • Stehman, S. V., 1997, Selecting and Interpreting Measures of Thematic Classification Accuracy, Remote Sensing of Environment, Vol. 62, No. 1, pp. 77~89. [https://doi.org/10.1016/S0034-4257(97)00083-7]

Jae Kwan Lee received B.S. degree in Environmental Engineering from University of Seoul in 2015. He is currently a Ph.D. candidate in the Department of Environmental Engineering in University of Seoul, Korea. His research interests include annoyance of environmental noise.

Bo Kyeong Kim received B.S. degree in Environmental Engineering from Kwangwoon in 2018. She is currently a M.S. candidate in the Department of Environmental Engineering in University of Seoul, Korea. Her research interests include Environmental noise.

Seo Il Chang completed his Ph.D. studies in the Herrick laboratories, Dept. of Mechanical Engineering, Purdue University in 1993 on nonlinear problems of mechanical systems including plates and shells. In 1997, he started his academic professional career in the Dept. of Environmental Engineering, the University of Seoul. His major research interest has been the environmental noise and vibration control and people in his lab have generated noise maps of cities. Recently, he collaborates with researchers from other fields including transportation, GIS, air quality and public health to make environmental pollution maps and to assess health impact. His long-term research plan is to study the relations between environmental noise and urban forms.

Fig. 1

Fig. 1
Noise and video collection for learning dataset

Fig. 2

Fig. 2
Average of 1/3 octave band sound levels for each vehicle on the maximum noise dataset

Fig. 3

Fig. 3
Comparison of the accuracy of test data according to the number of nodes in the hidden layer for each dataset

Fig. 4

Fig. 4
A neural network used in this study

Fig. 5

Fig. 5
The error rate of train data and test data over epoch number

Table 1

Confusion matrix of test data on the maximum noise dataset with 2, 78 hidden nodes

Number of node Vehicle-type Motorcycle Light Heavy Non-passing
2 Motorcycle 0 352 0 2
Light 0 847 0 11
Heavy 0 164 0 0
Non-passing 0 6 0 1,151
78 Motorcycle 338 13 2 1
Light 9 839 3 7
Heavy 0 0 164 0
Non-passing 1 1 0 1,155

Table 2

Training conditions and results of three machine learning models

Training conditions M1 M2 M3
Input data type Maximum (of pass-by noise) Maximum
± 1s
(of pass-by noise)
Equivalent
(of pass-by noise)
Non-passing
Number of hidden layers 2 2 2
Number of nodes Input 32 32 32
Hidden 78, 78 100, 100 67, 67
Output 4 4 4
Epoch 2000 2000 2000
Accuracy
(%)
Train 98.68 98.74 98.42
Test 98.54 94.64 97.47

Table 3

Evaluation measures for the models

Model Precision Recall F1-score Support
M1 Motorcycle 0.97 0.96 0.96 354
Light 0.99 0.98 0.98 858
Heavy 0.96 1.00 0.98 164
Non-passing 0.99 1.00 1.00 1157
Accuracy 0.98 2533
Macro avg. 0.98 0.98 0.98 2533
Weighted avg. 0.99 0.98 0.98 2533
M2 Motorcycle 0.94 0.90 0.92 1013
Light 0.93 0.98 0.95 2623
Heavy 0.99 0.76 0.86 490
Non-passing 0.97 0.99 0.98 1157
Accuracy 0.95 5283
Macro avg. 0.96 0.91 0.93 5283
Weighted avg. 0.95 0.95 0.95 5283
M3 Motorcycle 0.94 0.94 0.94 354
Light 0.98 0.96 0.97 858
Heavy 0.94 1.00 0.97 164
Non-passing 0.99 1.00 0.99 1157
Accuracy 0.98 2533
Macro avg. 0.96 0.97 0.97 2533
Weighted avg. 0.98 0.98 0.98 2533

Table 4

Results of applying M1 on Site A, B

Site A Site B
Number of
test data
Motorcycle 14 55
Light 66 159
Heavy 1 2
Non-passing 73 194
Total 154 410
Accuracy(%) 94.16 90.00