딥러닝 기술을 활용한 차량 운전자의 심전도 기반 스트레스 감지

1. 서 론

차량 운전자의 스트레스는 교통 법규 위반 및 교통 사고의 주요 원인 중 하나이다^(1,2). 높은 수준의 스트레스는 운전자의 집중력과 판단력을 저하시켜 반응 시간을 늦추며, 이로 인해 사고 발생 위험이 크게 증가할 수 있다. 스트레스는 공격적인 운전 행동, 반응 시간 지연, 부정확한 의사 결정 등의 요인으로 이어져 교통 사고 발생 가능성을 높이는 중요한 요소로 작용한다⁽³⁾. 따라서 운전 중 스트레스를 실시간으로 감지하고 관리하는 것은 교통 안전을 향상시키기 위해 필수적이다. 나아가, 지속적인 스트레스 모니터링과 관리는 운전자의 정신 건강 개선에도 기여할 수 있으며, 조기 감지를 통해 적절한 개입이 이루어지도록 하여 장기적으로 안정된 정신 건강 유지에 도움을 줄 수 있다⁽⁴⁾. 실시간 스트레스 감지는 운전자가 최적의 능력을 유지하며 변화하는 도로 상황에 능동적으로 대응할 수 있도록 지원하는 중요한 역할을 한다⁽⁵⁾. 이에 따라 스트레스 감지 기술을 지능형 차량 시스템에 통합하여 실시간 피드백과 개입을 제공하는 고급 운전자 보조 시스템(advanced driver-assistance system, ADAS) 개발에 관한 연구가 활발히 진행되고 있다⁽⁶⁾. 예를 들어, 시스템이 높은 스트레스 수준을 감지할 경우 운전자에게 휴식을 권장하거나, 안전 확보를 위해 자율 주행 기능을 활성화하는 방안이 제안되고 있다⁽⁷⁾. 또한, 차량 내 좌석, 온도, 음악 등 환경 요소를 조절하여 스트레스 수준에 맞춘 편안한 운전 환경을 조성하는 방법도 연구되고 있다⁽⁸⁾.

스트레스는 다양한 생리적 반응을 유발하며, 이러한 반응은 생체 신호를 통해 측정할 수 있다. 이에 따라 차량 운전자의 스트레스를 감지하기 위해 뇌전도(electroencephalogram, EEG), 피부전도도(electrodermal activity, EDA), 심전도(electrocardiogram, ECG), 근전도(electromyogram, EMG), 호흡률(respiratory rate, RR), 피부 온도 등 여러 생리적 신호가 활용되고 있다. 이러한 다양한 생체 신호를 기반으로 스트레스 상태를 효과적으로 감지하고 정확도를 향상시키기 위한 연구가 다수 보고되고 있다⁽³⁾. Healy와 Picard는 피부전기반응(galvanic skin response, GSR), 심박변이도(heart rate variability, HRV), 심박수와 같은 신호를 사용하여 기계 학습 알고리즘을 통해 운전자의 스트레스를 실시간으로 감지할 수 있음을 보고하였다⁽⁹⁾. 그러나 피부 전기반응과 같은 신호는 개인의 상태와 환경 조건에 따라 민감하게 변동되는 한계가 있다. 따라서 스트레스 감지의 정확도를 높이기 위해 다양한 생리 신호를 결합한 다중 모달리티(multi-modality) 접근법이 제안되고 있다⁽¹⁰⁾. 다중 모달리티 접근은 실제 환경에서 운전자의 스트레스를 다각도로 분석할 수 있다는 장점을 가지지만, 센서 비용과 시스템 복잡성 문제를 동반하기 때문에 실질적 구현에는 제한이 따른다.

한편, Reimer et al.과⁽¹¹⁾ Westerman과 Heigney는⁽¹²⁾ 운전 중 스트레스가 심박수와 혈압의 증가와 밀접하게 연관됨을 확인하였다. 이 연구들은 운전자가 교통 상황, 도로 상태, 운전 과업의 복잡도에 따라 다양한 수준의 스트레스를 경험하며, 복잡한 교통 상황이나 예기치 못한 장애물이 있는 조건에서 심박수와 혈압이 급격히 상승하는 양상을 규명하였다. 이와 같이 심전도는 실시간 스트레스 감지에 높은 정확도를 제공하는 효과적인 방법으로 고려될 수 있다. 심전도는 스트레스 상태에 따른 심장 리듬의 변화, 특히 자율 신경계 활동을 반영하는 심박 변이도의 변화를 정확히 포착할 수 있는 특성이 있다⁽¹³⁾. 여러 선행 연구에서 심전도의 심박 변이도 지표를 분석하여 스트레스 상태를 감지할 수 있음을 입증하고 있으며^(14~16), 이는 심전도를 활용한 스트레스 감지 방식이 스트레스의 비정형적 변화를 학습하는 데 유리하다는 점을 보여준다.

스트레스는 개인의 상태에 따라 심전도 신호에 다른 반응을 유도하며, 그 변화 양상 역시 복잡하고 비정형적이다. 이러한 비정형적 패턴을 학습하는 데 있어서는 합성곱 신경망(convolutional neural network, CNN), LSTM(long short-term memory), 심층 신경망(deep neural network, DNN)과 같은 딥러닝 모델이 특히 적합하다^(17~20). 딥러닝은 단순한 패턴 인식 이상의 비선형적 특성을 학습할 수 있어, 기존 기계 학습 기법보다 스트레스와 관련된 다양한 신호 변화를 더욱 효과적으로 포착할 수 있다.

이 연구에서는 심전도 신호를 사용하여 차량 운전자의 스트레스를 감지하기위해 딥러닝 기법들을 평가하고 효과적인 방법을 제시한다. 심전도로부터 운전자의 스트레스 상태를 직접 판단하기 위해 end-to-end 딥러닝 기법을 적용하였다. 합성곱 신경망 기반 모델에 다양한 어텐션(attention) 모듈을 추가하여 심전도 신호의 복잡한 패턴과 시간적 종속성을 학습시켜 스트레스 판단 성능을 증가시키고 각 어텐션 모듈 별로 성능을 평가하였다. 제안된 모델은 Drivedb 데이터셋(dataset)을 사용하여 정확도와 F1-score를 평가 지표로 교차 검증을 실시하였다. 이 논문의 구성은 다음과 같다. 2장에서는 데이터셋, 전처리 방법 그리고 제안된 모델 등에 대한 연구 방법론을 기술하고 3장에서는 실험 결과 및 분석을 기술한다. 마지막 4장에서는 이 연구의 결론을 기술한다.

2. 연구 방법

2.1 데이터셋

이 연구에서는 실제 운전 환경을 통해 수집된 PhysioNet의 stress recognition in automobile drivers(Drivedb) 데이터셋을 활용하였다⁽²¹⁾. 차량 주행 코스는 미국 보스턴 지역의 32.2 km 이상의 도로를 통과하는 경로로 설계되었으며, 이는 일반적인 일일 통근 경로를 반영하도록 구성되었다. 주행 경로에는 고속도로, 스트레스 수준의 차이가 발생할 것으로 예상되는 도심 운전 구간, 그리고 휴식 시간이 포함되었다. 이 데이터셋은 17명의 피험자로부터 수집된 다양한 생체 신호(심전도, 근전도, 피부 전기 반응, 호흡률 등)와 비디오 데이터를 포함하고 있으며, 이 중 10명의 피험자에게는 시간에 따른 스트레스 수준 레이블이 부여되어 있다. Drivedb 데이터셋에서 스트레스 수준 레이블은 세 가지 수준으로 나뉜다. 휴식 상태(rest), 저 스트레스(low stressed, LS) 그리고 고 스트레스(high stressed, HS)이다. 각 레벨은 특정 운전 상황에 따라 정의되며, 휴식 상태는 운전 전후의 안정된 상태를 나타내고, LS는 고속도로 주행, HS는 도심 운전과 같은 스트레스가 높은 상황을 나타낸다. 이 연구에서는 Drivedb 데이터셋 중 심전도 신호만 활용하여 운전 중 스트레스 수준을 분석하였다. 심전도는 FlexComp Infiniti(Thought Technology Ltd., Canada)를 사용하여 측정되었으며, 세 개의 전극이 왼쪽 쇄골뼈, 오른쪽 쇄골뼈, 그리고 왼쪽 갈비뼈 아래에 부착되었다. 측정된 신호는 프리앰프(pre-amplifier)를 통해 증폭 및 필터링한 후 단일 채널로 반환되는 방식으로 취득되었다. Table 1은 주행 조건 별 피험자들의 심전도 측정 시간을 나타낸다. 총 10명의 피험자에 대한 심전도 데이터 길이는 약 772분에 달한다. 세부적으로 휴식 상태에서는 263분, 고속도로 주행에서는 163분, 시내 주행에서는 347분의 데이터가 수집되었다.

Table 1

Recording times of ECG signals in the Drivedb dataset under different driving conditions

2.2 신호 전처리

이 연구에서는 496 Hz로 샘플링된 단일 리드(lead) 심전도 신호를 사용하였다. 심전도 신호는 측정 환경이나 조건에 따라 근육 활동에 따른 잡음(muscle artifact)이나 움직임 및 호흡에 기인한 기저선 변동(baseline drift) 등의 다양한 잡음이 혼입될 수 있어, 분석 전 신호의 전처리가 필수적이다⁽²²⁾. 이 연구에서는 기저선 표류(baseline wander) 제거, 정규화 그리고 데이터 증강(augmentation) 기법 등의 전처리를 적용하였다.

기저선 표류는 심전도 신호에서 발생하는 저주파 잡음으로, 신호의 기저선이 시간에 따라 천천히 변하는 현상을 의미한다. 이는 호흡, 전극의 움직임, 피부 접촉 상태 변화 등으로 인해 발생하며, 주파수 대역이 낮아 실제 심전도 신호의 주파수 성분과 겹칠 가능성이 높다. 기저선 표류는 심전도 신호의 특징을 왜곡시켜 R파를 포함한 QRS 복합파와 같은 주요 신호 요소의 정확한 검출을 방해할 수 있으므로, 분석 전 제거가 필수적이다. 참고로 QRS 복합파는 심실 탈분극의 전체 과정을 나타내며, Q파, R파, S파의 세 부분으로 구성된다. Q파는 R파 이전에 발생하는 작은 음의 파이고, S파는 R파 이후에 나타나는 작은 음의 파이다. QRS 복합파는 심장이 혈액을 펌프질하기 위해 심실근육을 수축시키는 전기적 활동을 나타내며, 일반적으로 심전도 신호의 가장 큰 파형으로 나타난다. 이 연구에서는 원 신호(raw signal)에 0.67 Hz ~ 50 Hz 대역 통과 버터워스 필터(butterworth filter)를 적용하여 기저선 표류를 제거하였다. 이 필터는 저주파 성분을 차단하고 필요한 심전도 신호 주파수 대역만을 통과시키기 때문에, 기저선 표류를 억제하면서도 심전도 신호의 유의미한 주파수 성분을 유지하는 데 유리하다. Fig. 1은 기저선 표류 제거 전후의 심전도 신호를 나타낸다. Fig. 2는 휴식 상태, 저 스트레스 상태, 고 스트레스 상태에서의 P파, QRS 복합파, T파를 나타낸다.

Fig. 1

Illustration of baseline wander removal in ECG signal preprocessing

Fig. 2

Characteristics of ECG signals corresponding to varying stress levels

신호 크기의 표준화를 위해 흔히 사용하는 방법 중 하나는 최소-최대 정규화(min-max normalization)이다. 이 기법은 신호의 값 범위를 [0, 1] 또는 [-1, 1]과 같은 일정 범위로 스케일링하여 데이터의 분포를 조정하는 데 유용하다. 그러나 최소-최대 정규화는 아티팩트(artifact)와 같은 이상치(outlier)에 취약하다는 단점이 있다. 데이터의 극단적인 값(이상치)은 스케일링 범위에 영향을 미쳐 신호의 상대적 크기를 왜곡시킬 수 있으며, 특히 생체 신호와 같은 경우 측정 과정에서 발생하는 다양한 노이즈와 잡음이 이 범위를 크게 벗어날 가능성이 높다. 이 연구에서는 z-score 정규화(z-score normalization)를 통해 신호의 크기를 표준화 하였다. z-score 정규화는 데이터의 평균과 표준편차를 사용하여 각 값을 표준화하며, 평균을 0으로, 표준편차를 1로 조정한다. 이러한 방식은 데이터가 정규 분포를 따를 때 특히 유용하며, 최소-최대 정규화와 달리 아티팩트에 덜 민감하다는 장점을 갖는다. z-score 정규화는 신호 내의 이상치가 전체 데이터 분포에 미치는 영향을 상대적으로 줄이며, 모델이 극단적인 값에 휘둘리지 않고 전체적인 데이터 분포에 대한 학습을 수행하는데 유리하다. Fig. 3은 z-score 정규화 전후의 심전도 데이터를 나타낸다.

Fig. 3

Illustration of z-score normalization applied to the ECG signal

데이터 증강(data augmentation)은 모델 학습 시 데이터의 다양성을 높여 과적합(overfitting)을 방지하고, 모델의 일반화 성능을 개선하는 중요한 기법으로 널리 사용된다. 특히 심전도와 같은 생체 신호 분석에서는 데이터가 제한적이고 노이즈나 변동성이 큰 경우가 많아, 데이터 증강을 통해 훈련 데이터의 양과 다양성을 인위적으로 증가시키는 것이 매우 효과적이다. 이 연구에서는 가우시안 노이즈 주입(Gaussian noise injection), 시간 축 이동(time-shift augmentation), 진폭 스케일링(amplitude scaling) 등의 데이터 증강기법을 활용하여 모델의 일반화 성능을 개선하였다.

가우시안 노이즈를 신호에 추가하는 것은 데이터 증강의 일반적인 방식 중 하나로, 특히 모델이 노이즈에 강건한 특성을 학습하도록 돕는다. 이 연구에서는 가우시안 노이즈의 하이퍼 파라미터인 σ를 0.01에서 0.05 범위로 설정하여 실제로 발생할 수 있는 노이즈 수준을 반영하도록 작게 조정하였다. 이를 통해 모델은 노이즈가 포함된 데이터를 학습함으로써 예측 성능을 개선할 수 있으며, 새로운 데이터에 대한 예측 시 신호의 미세한 변화나 노이즈에 대한 민감도를 효과적으로 낮출 수 있다.

시간 축 이동은 신호 전체를 좌우로 이동시키는 기법으로, 주로 시계열 데이터에 적용된다. 이는 신호의 중요한 특징은 유지하면서도 모델이 다양한 시간 위치에서의 신호 패턴을 학습할 수 있게 하여, 시간 축에서의 위치에 민감하지 않은 특성을 학습하게 한다. 특히 심전도 신호의 경우, 특정 파형(R파 등)의 위치에 대한 민감도를 줄이는 데 효과적이다. 이러한 데이터 변형은 모델이 시간적 위치 변화에 강건하게 작동하도록 돕는다. 이 연구에서는 시간 축 이동을 ±50 ms 범위 내에서 수행하여 심박 간격의 자연스러운 변동을 반영하였다.

진폭 스케일링은 신호의 전체 진폭을 일정 비율로 확대하거나 축소하는 방식이다. 이는 신호의 상대적 패턴은 유지하면서도 절대적인 진폭 변화에 대한 모델의 민감도를 낮추는 데 유용하다. 특히 생체 신호에서 발생할 수 있는 다양한 강도 변화(예: 측정 장비나 환경에 따른 신호 크기 변화)에 대응할 수 있도록 모델의 적응력을 높이는 이점이 있다. 이 연구에서 진폭 스케일링은 0.9 ~ 1.1 배율로 제한하여 심전도 신호의 형태학적 특성을 보존하면서 개인 간 진폭 차이를 고려하였다. Fig. 4는 데이터 증강을 적용 전 후의 심전도 신호의 시간 영역 특성을 나타낸다.

Fig. 4

Illustration of data augmentation applied to the ECG signal

2.3 모델 개발

이 연구에서는 심전도의 시계열 데이터를 특징 추출(feature extraction) 없이 직접 딥러닝 알고리즘에 활용하는 end-to-end 방식을 채택하였다. 또한, 1차원 합성곱 신경망(1D CNN) 기반의 DenseNet 아키텍처를 활용하여 심전도 신호의 스트레스 수준을 분류하는 모델을 개발하였다⁽²³⁾. DenseNet은 각 레이어가 이전 레이어의 출력을 결합하여 네트워크의 효율성과 정보 흐름을 극대화하는 구조로, 심전도와 같은 시계열 데이터에서 특징을 효과적으로 추출하는 데 적합하다⁽²³⁾. 모델 성능을 더욱 향상시키기 위해 DenseNet의 레이어에 다양한 어텐션(attention) 모듈을 추가하여 실험을 진행하였다. 어텐션 메커니즘은 입력 데이터에서 유의미한 특징에 가중치를 부여하여 모델의 판별력을 높이는 기법으로, 채널 정보 또는 공간 정보를 기반으로 가중치를 조정함으로써 중요한 정보를 강조한다. 어텐션 메커니즘은 최근 다양한 연구에서 성능 향상을 위한 필수적인 요소로 주목받고 있다⁽²⁴⁾.

이 연구에서는 총 6가지 어텐션 메커니즘을 사용하여 모델 성능을 비교하였다. SE(squeeze and excitation) 네트워크는 채널 어텐션을 활용하여 특정 채널의 중요도를 조정하는 방식이며⁽²⁵⁾, NLNN(non local neural network)는 공간 상의 유사도에 기반한 어텐션을 적용하여 장거리 의존성을 효과적으로 학습한다⁽²⁶⁾. 또한, 푸리에 변환과 CNN을 결합한 DeepRFT(deep residual Fourier transform)와 FFC(fast Fourier convolution)는 주파수 영역에서의 정보를 활용하여 공간적 정보와 함께 학습하며^(27,28), DCAM(denoise and contrast attention module)은 잡음 억제와 대조 강조를 통해 신호의 중요한 패턴을 부각시킨다⁽²⁹⁾. Fig. 5는 1D DenseNet의 구조와 이 연구에 적용된 어텐션 모듈의 삽입 위치를 나타낸다.

Fig. 5

Structure of the 1D DenseNet architecture with locations of attention module insertions

모델 학습 시에 사용한 최적화(optimizer) 알고리즘으로 Adam(adaptive moment estimation)을 적용하였다. Adam optimizer는 기울기 기반 최적화와 모멘텀(momentum) 방법을 결합하여 학습 속도와 수렴 안정성을 동시에 향상시키는 알고리즘으로, 현재 다양한 딥러닝 모델에서 널리 사용되고 있다. Adam optimizer는 기울기의 1차 및 2차 모멘트를 추적하여 학습률을 각 매개변수에 대해 동적으로 조정하기 때문에, 데이터의 스케일이나 기울기의 불균형에 영향을 덜 받으며 빠르게 수렴할 수 있다⁽³⁰⁾.

Adam optimizer는 특히 학습 속도와 최적화 효율성을 동시에 추구하는 경우에 유리하다. 이를 통해 손실 함수가 여러 지역 최소값(local minima)을 갖는 경우에도 안정적인 최적화를 가능하게 하며, 전통적인 확률적 경사 하강법(stochastic gradient descent) 방식에 비해 적응적 학습률 조정으로 학습을 보다 효율적으로 수행할 수 있다⁽³¹⁾. 이 연구에서는 Adam optimizer의 초기 학습률(learning rate)을 0.001로 설정하여 최적화가 안정적으로 이루어지도록 하였다. 또한, 손실 함수로는 교차 엔트로피(cross entropy)를 사용하였다. 교차 엔트로피는 확률 분포 간의 차이를 측정하는 함수로, 모델이 예측한 클래스 확률과 실제 레이블 간의 차이를 최소화하는 방향으로 학습을 유도한다. 특히 분류 문제에서 교차 엔트로피는 높은 성능을 발휘하며, 예측 확률이 목표 분포에 가까워질수록 손실이 줄어드는 특성을 통해 모델이 더욱 정확한 예측을 수행하도록 한다⁽³²⁾. 또한 정답 클래스와 예측 클래스 사이의 불일치를 효과적으로 벌점화(penalize)하여 분류 정확도를 향상시키는 데 유리하다.

3. 실험 결과 및 분석

이 연구에서는 다양한 어텐션 모듈이 적용된 DenseNet 모델의 스트레스 분류 성능을 교차 검증 방법을 통해 비교하였다. 전반적으로 DCAM, DeepRFT, FFC와 같이 푸리에 변환 모듈이 적용된 CNN 모델들이 우수한 성능을 보였으며, 특히 DCAM과 DeepRFT 어텐션 모듈을 적용한 모델이 높은 정확도를 나타냈다. 각 모델의 평균 정확도와 F1-score는 Table 2에 정리되어 있다. DCAM을 적용한 모델은 평균 정확도 86.2 %와 F1-score 83.5 %로 가장 우수한 성능을 보였다. 이는 기본 DenseNet 모델 대비 정확도에서 약 7.8 %, F1-score에서 약 10.3 %의 향상을 나타내며, 어텐션 메커니즘의 효과를 뚜렷하게 보여준다. DeepRFT와 FFC를 적용한 모델 또한 기본 모델 대비 성능이 향상되었는데, 이는 푸리에 변환을 활용하여 심전도 신호의 주파수 영역 정보를 효과적으로 추출하고 활용한 결과로 해석된다. 반면, NLNN을 적용한 모델은 오히려 성능이 저하되었다. NLNN은 공간적 어텐션 메커니즘을 기반으로 하지만, 시계열 데이터인 심전도 신호의 특성을 충분히 반영하지 못했을 가능성이 있다. 이러한 결과는 어텐션 메커니즘이 데이터의 특성과 모델의 구조에 따라 성능에 미치는 영향이 다를 수 있음을 시사한다.

Table 2

Ten times average result of accuracy and F1-score for performance comparison by models

스트레스 수준(rest, LS, HS)간의 분류 성능을 보다 자세히 분석하기 위해 혼동 행렬(confusion matrix)을 활용하였다. Fig. 6은 DCAM을 적용한 모델의 혼동 행렬을 나타내며, 각 스트레스 수준별로 모델의 예측 결과를 시각적으로 보여준다. 혼동 행렬에서 보이는 것처럼, rest 상태는 false positive(FP) 60, false negative(FN) 36으로 높은 정확도를 보인다. 이는 rest 상태에서의 심전도 신호가 다른 스트레스 상태와 명확히 구분되는 특징을 가지고 있기 때문으로 판단된다. 반면, LS 상태는 FP 175, FN 108로 오분류 비율이 비교적 높게 나타나며, HS 상태는 FP 99, FN 190으로 특히 FN 값이 높은 것으로 나타났다. DeepRFT와 FFC를 적용한 결과에서도 유사한 결과가 관찰되었다. Fig. 7과 Fig. 8은 각각 DeepRFT와 FFC를 적용한 모델의 혼동 행렬을 나타내며, 세 모델에서 공통적으로 rest 상태의 분류 성능은 높으나 LS와 HS 상태의 오분류가 비교적 많이 발생하는 것으로 확인된다. 또한, 각각의 모델의 FP와 FN값은 Table 3에 제시되어 있다.

Fig. 6

Confusion matrix of stress stage classification results for fold 1 using DenseNet with DCAM

Fig. 7

Confusion matrix of stress stage classification results for fold 1 using DenseNet with DeepRFT

Fig. 8

Confusion matrix of stress stage classification results for fold 1 using DenseNet with FFC

Table 3

False positives and false negatives for each model

이러한 결과는 다음과 같은 요인들에 기인할 수 있다. 첫째 요인으로는 개인별 생체신호의 편향을 들 수 있다. 스트레스에 대한 개인별 생리적 반응은 크게 상이할 수 있다. 어떤 사람은 스트레스에 민감하게 반응하여 심박수의 큰 변화를 보일 수 있지만, 다른 사람은 상대적으로 변동이 적을 수 있다. 이러한 개인차는 모델이 일반화된 패턴을 학습하는 데 어려움을 초래하며, 특히 소규모 데이터셋에서는 더욱 두드러진다. 둘째, 근본적으로 데이터 불균형의 문제이다. 각 스트레스 수준별 데이터의 양이 균등하지 않을 경우, 모델 학습 시 특정 클래스에 편향될 수 있다. 이는 모델이 일부 클래스에 대한 분류 성능은 높지만, 다른 클래스에 대해서는 낮은 성능을 보이는 원인이 될 수 있다. 마지막으로, 이 연구에서 사용한 데이터셋에서는 LS와 HS 상태의 데이터 분포가 균형적이지 않았을 가능성이 있으며, 이는 모델의 분류 성능에 영향을 미쳤을 수 있다.

이 연구를 통해 단일 심전도 신호로부터 운전자의 스트레스 수준을 실시간으로 분류하는 것이 가능함을 확인하였다. 특히 푸리에 변환 기반의 어텐션 메커니즘을 적용함으로써 모델의 성능을 향상시킬 수 있었다. 그러나 LS와 HS 간의 분류에서 어려움이 있었으며, 향후 연구에서는 다음과 같은 개선 방안을 고려할 수 있다. 첫째, 데이터셋의 확장 및 다양성 확보이다. 더 많은 피험자와 다양한 조건에서 데이터를 수집하여 모델의 일반화 능력을 향상시킬 필요가 있다. 특히, 다양한 연령대, 성별, 운전 경험 등을 포함하여 개인차를 반영할 수 있는 데이터를 확보해야 한다. 둘째, 데이터 전처리 및 특징 추출 기법의 개선이다. 심전도 신호의 잡음을 효과적으로 제거하고 유의미한 특징을 추출하기 위한 전처리 기법을 개선함으로써 모델의 성능을 높일 수 있다. 또한, 비선형 동역학 분석이나 시간-주파수 분석 등의 고급 신호 처리 기법을 활용하여 스트레스 상태에 따른 특징을 더욱 정밀하게 추출할 수 있다. 셋째, 개인화된 모델의 개발이다. 개인별로 스트레스 반응이 다르므로, 개인화된 모델을 개발하거나 전이학습(transfer learning) 기법을 활용하여 개인차를 반영한 모델을 구축하는 것이 필요하다. 이를 통해 각 개인에 맞는 정확한 스트레스 감지가 가능해질 것이다.

4. 결 론

이 연구는 차량 운전자의 스트레스 상태를 심전도 신호를 통해 분류할 수 있는 딥러닝 기반 모델을 개발하고 평가하였다. 1D DenseNet 모델에 다양한 어텐션 모듈을 적용하여 성능을 비교한 결과, 특히 DCAM 및 DeepRFT와 같은 푸리에 변환 기반 어텐션 메커니즘을 활용한 모델이 높은 정확도와 F1-score를 나타냈다. 이러한 결과는 푸리에 변환을 통해 심전도 신호의 주파수 영역 정보를 효과적으로 활용함으로써 모델의 스트레스 감지 성능이 향상될 수 있음을 시사한다. 또한, LS와 HS 간의 분류에서 오분류 비율이 다소 높게 나타났으며, 이는 개인별 생리적 차이와 데이터셋의 불균형에 기인하는 것으로 분석된다. 이를 개선하기 위해 다양한 조건과 인구통계학적 특성을 반영한 데이터셋의 확장, 고급 신호 처리 기법 도입, 그리고 개인화된 모델 개발이 필요할 것으로 판단된다. 이 연구는 심전도 신호를 활용한 실시간 스트레스 감지의 가능성을 확인함과 동시에, 딥러닝 기반 어텐션 메커니즘이 분류 성능 향상에 기여할 수 있음을 검증하였다. 향후에는 외부 데이터셋을 활용하여 모델의 일반화 성능을 검증하는 동시에, 웨어러블 심전도 센서나 스티어링 휠 내장 심전도 센서를 통해 실제 차량 환경에서의 실용성을 높이는 연구를 진행할 계획이다. 이를 통해 심전도 기반 스트레스 모니터링 시스템을 자동차 운전자의 건강 관리에 효과적으로 적용할 수 있을 것으로 기대된다.

References

• Hartley, L. R. and El Hassani, J., 1994, Stress, Violations and Accidents, Applied Ergonomics, Vol. 25, No. 4, pp. 221~230. [https://doi.org/10.1016/0003-6870(94)90003-5]
• Kontogiannis, T., 2006, Patterns of Driver Stress and Coping Strategies in a Greek Sample and Their Relationship to Aberrant Behaviors and Traffic Accidents, Accident Analysis & Prevention, Vol. 38, No. 5, pp. 913~924. [https://doi.org/10.1016/j.aap.2006.03.002]
• Giannakakis, G., Grigoriadis, D., Giannakaki, K., Simantiraki, O., Roniotis, A. and Tsiknakis, M., 2022, Review on Psychological Stress Detection using Biosignals, IEEE Transactions on Affective Computing, Vol. 13, No. 1, pp. 440~460. [https://doi.org/10.1109/TAFFC.2019.2927337]
• Elgendi, M. and Menon, C., 2020, Machine Learning Ranks ECG as an Optimal Wearable Biosignal for Assessing Driving Stress, IEEE Access, Vol. 8, pp. 34362~34374. [https://doi.org/10.1109/ACCESS.2020.2974933]
• Giakoumis, D., Tzovaras, D. and Hassapis, G., 2013, Subject-dependent Biosignal Features for Increased Accuracy in Psychological Stress Detection, International Journal of Human-computer Studies, Vol. 71, No. 4, pp. 425~439. [https://doi.org/10.1016/j.ijhcs.2012.10.016]
• Chung, W.-Y., Chong, T.-W. and Lee, B.-G., 2019, Methods to Detect and Reduce Driver Stress: A Review, International Journal of Automotive Technology, Vol. 20, No. 5, pp. 1051~1063. [https://doi.org/10.1007/s12239-019-0099-3]
• Bustos, C., Elhaouij, N., Solé-Ribalta, A., Borge-Holthoefer, J., Lapedriza, A. and Picard, R., 2021, Predicting Driver Self-reported Stress by Analyzing the Road Scene, Proceedings of the 9th International Conference on Affective Computing and Intelligent Interaction(ACII), pp. 1~8. [https://doi.org/10.1109/ACII52823.2021.9597438]
• Memar, M., Mokaribolhassan, A. and Ghavifekr, A. A., 2021, Review on Machine Learning Frameworks in Drivers’ Physiological Signal Analysis to Detect Stress, Proceedings of the 7th International Conference on Control, Instrumentation and Automation(ICCIA), pp. 1~6. [https://doi.org/10.1109/ICCIA52082.2021.9403605]
• Healey, J. A. and Picard, R. W., 2005, Detecting Stress during Real-world Driving Tasks using Physiological Sensors, IEEE Transactions on Intelligent Transportation Systems, Vol. 6, No. 2, pp. 156~166. [https://doi.org/10.1109/TITS.2005.848368]
• Chen, L.-L., Zhao, Y., Ye, P.-F., Zhang, J. and Zou, J.-Z., 2017, Detecting Driving Stress in Physiological Signals based on Multimodal Feature Analysis and Kernel Classifiers, Expert Systems with Applications, Vol. 85, pp. 279~291. [https://doi.org/10.1016/j.eswa.2017.01.040]
• Reimer, B., Mehler, B. and Coughlin, J. F., 2010, An Evaluation of Driver Reactions to New Vehicle Parking Assist Technologies Developed to Reduce Driver Stress, New England University Transportation Center, Massachusetts Institute of Technology, MA, United States.
• Westerman, S. J. and Haigney, D., 2000, Individual Differences in Driver Stress, Error and Violation, Personality and Individual Differences, Vol. 29, No. 5, pp. 981~998. [https://doi.org/10.1016/S0191-8869(99)00249-4]
• Thayer, J. F., Åhs, F., Fredrikson, M., Sollers, J. J. III. and Wager, T. D., 2012, A Meta-analysis of Heart Rate Variability and Neuroimaging Studies: Implications for Heart Rate Variability as a Marker of Stress and Health, Neuroscience & Biobehavioral Reviews, Vol. 36, No. 2, pp. 747~756. [https://doi.org/10.1016/j.neubiorev.2011.11.009]
• Kim, H.-G., Cheon, E.-J., Bai, D.-S., Lee, Y. H. and Koo, B.-H., 2018, Stress and Heart Rate Variability: A Meta-analysis and Review of the Literature, Psychiatry Investigation, Vol. 15, No. 3, pp. 235~245. [https://doi.org/10.30773/pi.2017.08.17]
• Pereira, T., Almeida, P. R., Cunha, J. P. S. and Aguiar, A., 2017, Heart Rate Variability Metrics for Fine-grained Stress Level Assessment, Computer Methods and Programs in Biomedicine, Vol. 148, pp. 71~80. [https://doi.org/10.1016/j.cmpb.2017.06.018]
• Lee, H., Kim, W. and Sung, M., 2017, Cross-validation and Similarity Analysis of Heart Rate Data from Wearable Devices for Stress Monitoring, Proceedings of the KSNVE Annual Spring Conference, p. 170.
• Mortensen, J. A., Mollov, M. E., Chatterjee, A., Ghose, D. and Li, F. Y., 2023, Multi-class Stress Detection through Heart Rate Variability: A Deep Neural Network based Study, IEEE Access, Vol. 11, pp. 57470~57480. [https://doi.org/10.1109/ACCESS.2023.3274478]
• Gedam, S. and Paul, S., 2021, A Review on Mental Stress Detection using Wearable Sensors and Machine Learning Techniques, IEEE Access, Vol. 9, pp. 84045~84066. [https://doi.org/10.1109/ACCESS.2021.3085502]
• Subhani, A. R., Mumtaz, W., Saad, M. N. M., Kamel, N. and Malik, A. S., 2017, Machine Learning Framework for the Detection of Mental Stress at Multiple Levels, IEEE Access, Vol. 5, pp. 13545~13556. [https://doi.org/10.1109/ACCESS.2017.2723622]
• Kim, J.-W., Park, S.-H., Lee, S.-K. and Park, K.-S., 2022, Artificial Intelligence Network with 1D-/2D-CNN and LSTM Predicting Flank Wear from Raw Vibration Signals, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 32, No. 4, pp. 384~391. [https://doi.org/10.5050/KSNVE.2022.32.4.384]
• Goldberger, A. L., Amaral, L. A. N., Glass, L., Hausdorff, J. M., Ivanov, P. C. et al., 2000, PhysioBank, PhysioToolkit, and PhysioNet: Components of a New Research Resource for Complex Physiologic Signals, Circulation, Vol. 101, No. 23, pp. e215~e220. [https://doi.org/10.1161/01.CIR.101.23.e215]
• Siam, A. I., Gamel, S. A. and Talaat, F. M., 2023, Automatic Stress Detection in Car Drivers based on Non-invasive Physiological Signals using Machine Learning Techniques, Neural Computing and Applications, Vol. 35, No. 17, pp. 12891~12904. [https://doi.org/10.1007/s00521-023-08428-w]
• Huang, G., Liu, Z., Van Der Maaten, L. and Weinberger, K. Q., 2017, Densely Connected Convolutional Networks, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 4700~4708. [https://doi.org/10.1109/CVPR.2017.243]
• Niu, Z., Zhong, G. and Yu, H., 2021, A Review on the Attention Mechanism of Deep Learning, Neurocomputing, Vol. 452, pp. 48~62. [https://doi.org/10.1016/j.neucom.2021.03.091]
• Hu, J., Shen, L. and Sun, G., 2018, Squeeze-and-excitation Networks, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 7132~7141. [https://doi.org/10.1109/CVPR.2018.00745]
• Wang, X., Girshick, R., Gupta, A. and He, K., 2018, Non-local Neural Networks, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 7794~7803. [https://doi.org/10.1109/CVPR.2018.00813]
• Mao, X., Liu, Y., Liu, F., Li, Q., Shen, W. et al., 2023, Intriguing Findings of Frequency Selection for Image Deblurring, Proceedings of the 37th AAAI Conference on Artificial Intelligence(AAAI-23), pp. 1905~1913. [https://doi.org/10.1609/aaai.v37i2.25281]
• Chi, L., Jiang, B. and Mu, Y., 2020, Fast Fourier Convolution, Advances in Neural Information Processing Systems, Vol. 33, pp. 4479~4488.
• Shin, K., Kim, H., Seo, W.-Y., Kim, H.-S., Shin, J.-M. et al., 2023, Enhancing the Performance of Premature Ventricular Contraction Detection in Unseen Datasets through Deep Learning with Denoise and Contrast Attention Module, Computers in Biology and Medicine, Vol. 166, 107532. [https://doi.org/10.1016/j.compbiomed.2023.107532]
• Kingma, D. P. and Ba, J., 2015, Adam: A Method for Stochastic Optimization, The 3rd International Conference on Learning Representations(ICLR 2015), CA, United States.
• Ruder, S., 2016, An Overview of Gradient Descent Optimization Algorithms, arXiv: 1609.04747, NY, United States, pp. 1~12.
• Goodfellow, I., Bengio, Y. and Courville, A., 2016, Deep Learning, The MIT Press, MA, United States.
• Gholamiangonabadi, D., Kiselov, N. and Grolinger, K., 2020, Deep Neural Networks for Human Activity Recognition with Wearable Sensors: Leave-one-subject-out Cross-validation for Model Selection, IEEE Access, Vol. 8, pp. 133982~133994. [https://doi.org/10.1109/ACCESS.2020.3010715]