Journal Archive

Transactions of the Korean Society for Noise and Vibration Engineering - Vol. 30 , No. 6

[ Article ]
Transactions of the Korean Society for Noise and Vibration Engineering - Vol. 30, No. 6, pp. 634-641
Abbreviation: Trans. Korean Soc. Noise Vib. Eng.
ISSN: 1598-2785 (Print) 2287-5476 (Online)
Print publication date 20 Dec 2020
Received 13 Oct 2020 Revised 30 Nov 2020 Accepted 30 Nov 2020
DOI: https://doi.org/10.5050/KSNVE.2020.30.6.634

스마트 기술을 활용한 승강기 위험 상황 자동 예측판단 기법 개발
박찬용* ; 이창훈* ; 최병근** ; 서상윤

Development of Automatic Prediction Method for Elevator Hazard Situation Using Smart Technology
Chan-Yong Park* ; Chang-hun Lee* ; Byoung-Keun Choi** ; Sang-Yoon Seo
*Korea Elevator Safety Agency, Researcher
**GyeongSang National University, Professor
Correspondence to : Mmeber, Department of Research and Development, Korea Elevator Safety Agency, Senior Researcher E-mail : mulphy@koelsa.or.kr
‡ Recommended by Editor Jung Woo Son


© The Korean Society for Noise and Vibration Engineering
Funding Information ▼

Abstract

In Korea, the first elevator was introduced in 1910. Thereafter, Korea has been ranked 3rd in installation and 7th in maintenance worldwide. During the last five years, an average of 35 000 elevators per year have been installed, and the total number of installed elevator increases every year. In Korea, 92.1 % of the elevator malfunctions are to be stuck in an elevator. When passengers are stuck in an elevator, elevator maintenance personnel or firefighters usually rescue them; however, the number of firefighter rescues has been increasing compared to the number of new elevators installed. Along with the increase in being stuck in an elevator and the increase in the number of firefighter rescues, anxiety of elevator passengers and social costs are also increasing. Hence, there is a need to find a method to reduce these incidences. Therefore, it is essential to develop an intelligent rescue system using video, video, vibration, noise and elevator’s malfunction signal for various hazard pattern recognition. In this study, we propose a new technology that can prevent incidents such as being stuck in an elevator, violence or collapse, and minimize the gap in field management through a fast and accurate hazard prediction and response method based on machine learning.


Keywords: Elevator, Video·Voice(, Vibration·Noise, Control Panel, Machine Learning, Stuck in Elevator
키워드: 승강기, 영상·음성, 소음·진동, 제어반, 기계학습, 승강기 갇힘

1. 서 론

우리나라는 좁은 면적에 많은 인구를 수용하기 위해 초고층 건물이 많이 늘어나고 있으며, 국내 승강기 설치대수는 2019년 기준으로 70만대를 넘어섰다(1). 설치대수가 증가함에 따라 최근 5년간 승강기 관련 119 출동건수도 평균 12.5 % 증가하였다(2~5). 2018년도 서울시 119 출동건수를 조사한 결과 승강기 관련 출동 건수가 2위를 차지하였다(6). 이처럼 승강기 관련 출동 건수가 지속적으로 증가하는 주된 이유는 승강기의 갑작스런 고장으로 인한 갇힘 등이 그 원인이다. 또한, 승강기의 주요 사고 사례 중에서 승강기내 폭력 상황, 쓰러짐 등으로 인한 사망 사고 등도 발생하고 있어 이에 대한 대책이 필요하다.

따라서 승강기 안전사고의 신속대응 및 수습체계 마련을 위한 지능화된 시스템 구축이 시급하며, 4차 산업혁명의 핵심기술과 연계를 통한 위험요소 제거를 위한 기술개발이 필요하다.

이 연구를 통해 위험 상황 감시 및 예측판단, 대응 시스템 구축으로 승강기 이용자 안전을 확보하고, 24시간 출동 대기로 인한 구조 인력 투입 최소화를 실현하여 사회적 비용 절감을 하고자 한다.


2. 연구 개요

이 연구에서는 승강에서 발생하는 위험 상황을 감지하기 위해서 영상‧음성, 진동‧소음 데이터를 측정하여 저장하고, 제어반의 신호와 연계하여 위험 상황을 인공지능을 이용하여 학습시키고 위험 상황 발생 시 승강기를 제어하여 자동으로 운행시키고 경찰서 등에 승강기가 자동으로 신고할 수 있도록 하였으며, 시스템 개요도는 Fig. 1과 같다.


Fig. 1 
Schematic diagram of technologies for preventing and responding to risks arising from elevators


3. 위험상황 감지센서 데이터 오인식률 최소화 기술 개발
3.1 영상‧음성 오인식률 최소화 기술 개발

승강기에서 발생하는 위험 상황은 승강기에서 승객이 탑승하는 공간인 카 내에 설치된 CCTV를 통해 방재실에서 확인되고 있다. 하지만, 관리자에 의해 지속적인 관찰 및 관리가 이루어지기 어렵기 때문에 인공지능을 이용하여 자동으로 인식을 할 수 있도록 개발하였다. 위험상황을 영상으로 인식하기 위해 실시된 기존 승강기 카 내 위험상황 연구에서는 폭행 발생 시 상황 묘사를 실제 카 상부에서 측정된 영상이 아닌 카 내 수평에서 측정된 영상을 사용하여 구현하였다(7). 또한 폭력 인식에 관한 연구에서는 폭력 학습 시 주로 사용되고 있는 유튜브의 영화 폭력이나 아이스하키 경기 중 폭력 영상을 학습에 사용했기 때문에(8), 폭력 영상의 촬영시점의 각도가 변경되어 오인식률이 높아지는 원인이 되기 때문에 이 연구에서는 실제 카 내 CCTV를 통해 확보한 영상으로 카 내 폭력 등의 위험상황을 인식할 수 있도록 연구하였다. 영상 인식 기술은 모션벡터를 이용하여 사람의 동작을 인식하는 방법을 사용하였으며, 적용된 알고리듬은 다음과 같다.

먼저 Fig. 2와 같이 네트워크 카메라(IP Camera) 및 동영상 파일 같은 소스에서 비디오/오디오 데이터를 취득하여 압축된 데이터를 디코딩한다.


Fig. 2 
Video/audio reception and decoding, data processing flowchart

디코딩된 비디오 데이터는 OpenCV 모듈에서 영상 처리 및 인식 작업을 진행한다. 영상의 픽셀 데이터에 접근이 가능하므로 OpenCV 모듈에서는 Caffe – SSD 딥러닝 객체 인식 모듈을 이용하여 사람이 있는지를 확인하고(9), 모션벡터 데이터를 이용하여 사람의 움직임 패턴(갇힘, 쓰러짐, 폭력 등)을 구분하여, Fig. 3과 같이 카내의 문 영역과 바닥 영역을 사각형과 같이 사전에 인식시켜 위험상황을 구별할 수 있도록 하였다.


Fig. 3 
In-car area recognition

Fig. 4의 (a)는 도어 유사도 인식(닫힘 또는 열림), 사람 인식, 문 닫힘 후 시간과 같은 세 가지 요소를 통해 갇힘을 인식한 화면이며, (b)는 사람 및 모션벡터를 인식하여 폭력을 인식한 화면, (c)는 사람, 하강방향 모션벡터 발생, 바닥인식을 통해 쓰러짐을 인식한 화면의 예이다.


Fig. 4 
Image recognition method

디코딩된 오디오 데이터는 스피커로 출력되는 동시에 데이터는 VAD(voice activity detector) 모듈에 입력하여 사람목소리의 특성(MFCC)와 크기(RMS)와 같은 특징 값을 계산한다(10). 계산된 오디오의 특징 값들을 SVM(support vector machine) 모듈에 입력하여 미리 학습된 데이터와 비교하여 위험상황을 인지할 수 있도록 하였다(11). Fig. 5는 음성인식을 통한 위험상황 인식 장면의 예이다.


Fig. 5 
Sound recognition method

이와 같은 알고리듬을 이용하여, Table 1의 4가지 항목에 대해 영상 인식 및 음성 인식을 하였다. 학습에 사용한 데이터는 엘리베이터 내에서 발생할 수 있는 다양한 위험상황 패턴을 학습하기에는 승강기 내의 폭력 등의 행동이 매우 다양하고 CCTV의 설치위치에 따라 영상의 인식율이 매우 제한적이다. 따라서 위험상황에 대한 시나리오 및 특징을 정의하기 위해 각 상황별로 10개의 데이터를 학습하였고 학습된 10개의 데이터 전체를 테스트 데이터를 구성하여 검증을 실시하였다. 시험한 결과는 Table 1과 같다.

Table 1 
Recognition rate of video and sound for hazard situation
Item Sucess rate(%)
Recognition of person when the elevator door is closed 100
Recognition rate of person who is collapsed on the elevator floor 100
Recognition rate of person’s scream in the elevator 100
Recognition rate of violence situation in the elevator 80

3.2 소음·진동 측정 장치 개발

승강기 내에서 발생하는 영상, 음성 인식 시 폭력의 경우 장난과 구분이 모호하며 진동 및 소음을 동시에 측정하여 구분하면 보다 정확하게 상황을 구분 할 수 있을 것으로 판단하여 승강기의 운행 중 소음‧진동을 온라인으로 측정할 수 있는 장비를 개발하였다.

승강기 운전에 따른 급작스러운 정지 또는 충격 등 위험상황 예측을 위한 기본 자료로 활용될 수 있는 승강기의 진동 및 소음을 감지하기 위한 측정시스템 구성은 Fig. 6과 같다.


Fig. 6 
System diagram

진동 및 충격을 측정하기 위한 3축의 가속도 센서와 소음센서로 감지된 신호를 처리하는 신호처리부와 이를 처리하는 연산모듈(CPU), 메모리, 통신모듈, 전원관리회로 등으로 구성되며, 승강기 제어반의 신호를 받아서 상승 및 하강 신호 등 상태 신호도 받아들일 수 있도록 제작하였다.

측정시스템의 보호와 시험을 원활하게 수행하기 위하여 Fig. 7과 같이 산업용 PC, 네트워크 통신장비, 전원장치를 하나의 케이스에 내장한 시험 장치를 제작하였다.


Fig. 7 
Data acquisition unit

승강기의 진동/소음 측정 센서는 승강기의 승차감 측정에 적합한 MEMS 가속도 센서와 MEMS 소음 센서를 선정하여 제작하였다. 승강기 카 내에서 승객이 승강기를 타고 다닐 때 느끼는 진동/소음을 승차감이라고 한다. 승강기의 승차감 측정범위는 승차감 측정 표준인 KS B ISO 18738-1:2012에서 KS B ISO 8041-1 진동에 대한 인체의 반응-측정기기-제1부: 다목적 진동계의 전신진동 측정범위인 160 Hz를 적용하도록 하고 있다. 또한 소음 측정 범위는 KS C IEC 61672-1의 클래스 2 사운드레벨미터를 위한 요구조건에 적합하여야 한다고 규정하고 있다. 따라서 MEMS 진동센서는 응답 특성 범위가 넓은 일반 회전기계 진동 모니터링용 센서가(12) 아닌 승강기 승차감 측정(13)에 적합하고 200 Hz 이하의 영역에서 선형성을 갖는 MEMS 가속도 센서를 선정하여 제작하였고, 소음센서는 20 Hz ~ 8000 Hz 영역의 MEMS 마이크로폰 센서를 선택하여 직접 설계 및 제작을 하였으며, 외관은 Fig. 8과 같다.


Fig. 8 
Sensors

개발된 진동센서는 위험 상황 발생 시 판단의 기준이 될 뿐만 아니라, 승강기 정상운전여부 판단(승강기의 정상운전에 대한 진동 데이터 수집)의 수단으로도 사용된다.

Fig. 9은 데이터 측정프로그램의 구성으로 센서와 DAQ를 통해 측정된 신호를 측정날짜별로 폴더를 생성하고 시간별로 저장하도록 구성하였으며, 저장된 데이터는 AI서버와 연계하여 데이터를 전송하도록 구성하였다.


Fig. 9 
Date acquisition software

최종적으로 장비의 성능을 검증하기 위해 교정을 실시하여 진동측정 정밀도는 목표(0.5 % 이내)보다 정확한 0.4 %를 달성하였고, 소음 측정 정밀도는 목표(typeⅡ이내)보다 정확한 typeⅠ으로 구현하였다.


4. 위험 상황 예측 판단을 위한 기계학습 시스템 설계
4.1 데이터 수집 시스템 설계

승강기에서 측정되는 데이터를 실시간 및 주기적으로 수집하고 저장하기 위해 각 데이터별(영상/음성센서, 진동/소음센서, 제어반)로 필요한 형식을 Table 2~Table 4와 같이 정의하였다.

Table 2 
Vision and sound data
Item Data classification
Vision to server Event information Violence
Stuck
Collapse
Normal
Light off
Person in elevator car Number of person
Location of person
Door status Open
Close
Numeric value
Floor status Numeric value
Object on the floor
Violence Strength
Numeric value
Motion sensitivity Numeric value
Motion data Jpeg(640×480)
Video data

Table 3 
Vibration and noise data
Item Data classification
Vibration to server Operation hour
Operation distance
Impact status information Normal
Abnormal
Noise status information Normal
Abnormal
Elevator status Ride quality
information
Deceleration
information
Defect information
Time

Table 4 
Control panel data
Item Data classification
Control panel to server Operation hour
Operation distance
Operation count
Error code
Error occurrence time
Elevator status IO Output 24 EA
Input 40 EA
Operation time
Door open time
Floor travel time

또한 측정된 데이터가 개별적인 장치를 통해 측정되어 서버에 저장되므로 정해진 주기마다 시간 동기화가 필요하며 각 모듈과의 지속적인 통신을 통해 누락여부를 검토하여 누락 없이 수집될 수 있도록 전체 시스템을 설계하였으며, 데이터베이스 프로그램은 postgresql을 사용하였다.

4.2 기계학습을 통한 위험 상황 예측판단 시스템 설계

승강기에서 위험 상황 발생 시 자동으로 인식하여 구출작업을 수행하기 위해서는 기계학습이 필요하며 Fig. 10과 같은 처리 절차를 거쳐 학습을 하고 위험 상황별로 예측을 하여 최종 결과를 전달하게 된다.


Fig. 10 
Prediction system structure

학습을 위한 위험 상황 데이터는 영상, 진동 패턴, 승강기 운행여부가 학습을 위한 조건이 되며, 학습 데이터는 폭력 상태일 때는 폭력영상, 충격 진동, 승강기 상승이라는 3가지 조건으로 이루어진 데이터를 학습시키는 것이 필요하여 1차적으로 측정되는 데이터가 제한적인 상황에서는 rule base 등을 이용한 기계학습이 가장 적절한 것으로 판단되어 다양한 시나리오에 따라 승강기 내 위험 상황을 학습할 예정이다.

Fig. 11은 승강기 운행 상태 및 이상 유무를 실시간 확인할 수 있는 소프트웨어의 UI이다.


Fig. 11 
Main dashboard


5. 위험 상황별 최적 대응 기술 개발 및 상황 전파 네트워크 구축
5.1 개요

위험상황별 최적 대응기술은 영상, 음성, 진동, 소음 센서에서 측정된 데이터를 이용하여 인공지능에서 예측된 결과로 폭력, 쓰러짐, 갇힘 등의 위험상황을 인지하였을 때는 Fig. 12와 같이 자동구출 알고리듬에 따라 구출운전을 수행하고, 인지된 각 상황에 맞게 경찰, 119, 유지보수 업체에 자동으로 문자 등을 통해 상황전파를 할 수 있도록 설계 및 개발하였다. 추가적으로 자가진단을 통해 고장발생 이전에 승강기에서 발생할 수 있는 결함을 확인하여 조치할 수 있는 자가진단 시스템을 개발하였다.


Fig. 12 
Automatic rescue operation algorithm

5.2 자동 구출 운전 알고리듬 개발

환자발생, 폭행발생, 고장에 의한 갇힘 등과 같은 승강기 위험 상황 유형 데이터화 및 위험정도 분류를 통해 자동 구출 운전 알고리듬을 설계하였다.

인공지능을 통해 폭력, 쓰러짐, 갇힘 등의 위험상황을 인지하였을 때는 Fig. 13과 같이 제어반에 정보를 전송하여 폭력 인지 시에는 최기층(근접층)으로 바로 이동하여 승강기 문을 열고 대기하고, 환자 발생(쓰러짐) 시에는 최저층(1층)으로 도착하여 문을 열고 대기하고, 갇힘 고장 시에는 승강기의 고장원인 확인 후 고장 해제가 가능한 경우에는 최기층(근접층)으로 도착하여 문을 열고 승객이 하차가 가능하도록 구성하였다.


Fig. 13 
Prediction system structure

5.3 자가 진단 시스템 개발

승강기의 고장 여부를 자가 진단하기 위해 우선 승강기에서 발생한 고장 유형을 분석하였다. 고장 건수는 827건이고 155현장에서 수집되었고 그 중 승강기 내 위험상황 인지와 관련된 고장은 갇힘 고장이며 전체 고장 중 6.41 %였다. 갇힘 고장의 원인을 분석하였더니 주로 door 및 브레이크 관련 부품에 이물질이 끼거나 설정 오류로 인해 갇힘이 발생하여 Table 5와 같이 자가진단 항목을 10가지로 정하였다.

Table 5 
Serious breakdown causing passenger’s stuck in elevator(10 EA)
No. Malfunction type No. Malfunction type
1 Unable to supply power to traction machine 6 Up final limit switch error
2 Car door open during operation 7 Down final limit switch error
3 Hall door open during operation 8 Governor operation
4 Unable to door open 9 inverter error
5 Unable to door close 10 Unintended car movement protection operation

자가 진단 항목 10가지를 바탕으로 고장 예방을 목적으로 승강기 자가 진단 시스템을 Fig. 13과 같이 설계하였다.

자가진단 시스템은 테스트 모드가 되면 자동속도로 최상층으로 이동하여 최상부의 안전스위치(up final limit switch)를 저속모드인 수동운전 상태로 운전하면서 스위치의 동작여부를 점검하고 최상층 복귀 후 최하층까지 자동속도로 운행하면서 각 층별 도어를 열고 닫으면서 도어의 고장으로 인한 갇힘 고장을 방지하기 위해 스위치 및 도어 개폐 시 진동 발생 여부를 확인하면서 도어의 끼임이나 이물질 발생 여부 등을 확인한다.

최저층에 도착하면 수동속도로 최하단의 안전스위치(down final limit switch)의 동작여부를 점검하고, 층고 측정모드로 전환하여 건물 각층별 층고를 측정한 결과를 전송하고 최상층으로 리레벨 후 자동 운전상태로 전환하고 자가진단을 마치도록 구성되어 있다.

따라서, 자가 진단을 수행함으로서 전층 승강장문 확인, 최상층‧최저층 종단 스위치, 과속 조절기, 각 층별 데이터, 브레이크 등을 확인하여 승강기의 상태를 파악 할 수 있고 이상 진동‧소음 감지를 통해 고장 및 갇힘을 최소화 할 수 있다.

5.4 자가 진단 시뮬레이터 시제품 개발

자가 운전 시스템 및 자동 구출 운전을 바탕으로 Figs. 14, 15와 같이 제어반 시뮬레이터와 도어 시뮬레이터 시제품을 제작하여 알고리듬 테스트를 진행하였다.


Fig. 14 
Lift simulator sets


Fig. 15 
Door simulator

제어반의 자가 진단 시뮬레이터에서 각 부품별 고장 시 80 %이상을 검출하는 것을 목표로 진행되었고, 자가진단 시 고장 검출율을 확인하기 위해 Table 5의 10개 항목에 대해 시뮬레이터에 임의로 고장을 발생시켜 시험한 결과 8번의 조속기 동작을 제외한 9개 항목의 결함 검출이 되어 적합함을 확인하였다.


6. 결 론

이 논문에서는 승강기에서 발생할 수 있는 다양한 위험상황을 확인할 수 있는 영상‧음성‧진동‧소음센서 및 제어반의 운행 데이터 등을 취득하고, 인공지능으로 학습하여 자동으로 구출하는 시스템을 설계 및 개발하였다.

특히, 승강기의 갇힘, 쓰러짐, 폭력 등의 위험상황 영상은 카내 CCTV의 설치각도, 공간적인 문제 등으로 인해 카 내에서 학습한 제한적인 데이터로만 구현하였다. 다양한 위험상황을 정확하게 인식하기 위해서는 영상‧음성만으로는 부족하여 진동‧소음, 제어반 고장 신호 등과 연계하여 판단하고 구출운전을 할 수 있도록 시스템을 구성하였다.

추후 승강기에서 발생될 수 있는 다양한 위험상황에 대한 데이터를 학습하여 분류 정확도를 높인다면, 승강기 이용자의 위험을 자동으로 인지하여, 외부기관 등에 신고하고 구출운전이 가능할 것으로 기대된다.


Acknowledgments

이 논문은 행정안전부 2019년도 재난안전 취약핵심역량 도약기술개발사업의 지원을 받아 수행된 연구입니다.


References
1. Korea Elevator Safety Agency, Elevator in Statistics, https://home.koelsa.or.kr/eng/wpge/m_17/statistics/statistics0101.do
2. National Fire Agency, 2018, Statistics of Rescue Activities in 2018, Sejong, Korea.
3. National Fire Agency, 2017, Statistics of Rescue Activities in 2017, Sejong, Korea.
4. National Fire Agency, 2016, Statistics of Rescue Activities in 2016, Sejong, Korea.
5. National Fire Agency, 2015, Statistics of Rescue Activities in 2015, Sejong, Korea.
6. Seoul Metropolitan Government, 2018, 2018 Statistics of Rescue Activities in Seoul, Seoul, Korea.
7. Kim, J. M., Lim, S. W. and Kwon, G. R., 2015, Development of Emergency Detection System Using Environment Information in Elevator Passenger, Journal of Korean Institute of Next Generation Computing, Vol. 11, No. 5, pp. 73~80.
8. Kim, K. S., Kim, U. T. and Kwak, S. Y., 2017, Real-time Violence Video Detection based on Movement Change Characteristics, Journal of Broadcast Engineering, Vol. 22, No. 2, pp. 234~239.
9. https://github.com/weiliu89/caffe/tree/ssd
10. https://ratsgo.github.io/speechbook/docs/fe/mfcc
11. https://ratsgo.github.io/machine%20learning/2017/05/23/SVM/
12. Son, J. D., Shim, M. C. and Yang, B. S., 2008, Development of MEMS Accelerometer-based Smart Sensor for Machine Condition Monitoring, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 18, No. 8, pp. 872~878.
13. Seo, S. Y., Bae, D. M., Lee, J. K. and Choi, B. K., 2013, Optimum Design of 3-Axis Sensor System for Vibration Measurement Using Piezoresistive Type MEMS Sensor, Transactions of the Korean Society for Noise and Vibration Engineering, Vol. 23, No. 12, pp. 1082~1089.

Chan-Yong Park received his B.S degree in Control and Sensor Engineering from Seoul National University of Science & Technology in 2006. He is currently a General manager at Research and Development Department at Korea Elevator Safety Agency.

Chang-Hoon Lee received his M.S. degree in Electrical Engineering from Chonbuk National University in 2016. He is currently a research engineer at Korea Elevator Safety Agency.

Byeong-Keun Choi is a Professor at the Department of Energy and Mechanical Engineering at Gyeongsang National University in Korea. He received his Ph.D. degrees in Mechanical Engineering from Pukyong National University, Korea, in 1999. Dr. Choi worked at Arizona State University as an Academic Professional from 1999 to 2002. His research interests include vibration analysis and optimum design of rotating machinery, machine diagnosis and prognosis and acoustic emission. He is listed in Who's Who in the World, among others.

Sang-Yoon Seo received his Ph.D. degree in Sound and Vibration Engineering from Pukyong National University in 2013. He is currently a Deputy manager at Research and Development Department at Korea Elevator Safety Agency. His research interests are in vibration analysis, machine diagnosis and prognosis, development of sound and vibration equipment.