스마트 기술을 활용한 승강기 위험 상황 자동 예측판단 기법 개발

3.1 영상‧음성 오인식률 최소화 기술 개발

승강기에서 발생하는 위험 상황은 승강기에서 승객이 탑승하는 공간인 카 내에 설치된 CCTV를 통해 방재실에서 확인되고 있다. 하지만, 관리자에 의해 지속적인 관찰 및 관리가 이루어지기 어렵기 때문에 인공지능을 이용하여 자동으로 인식을 할 수 있도록 개발하였다. 위험상황을 영상으로 인식하기 위해 실시된 기존 승강기 카 내 위험상황 연구에서는 폭행 발생 시 상황 묘사를 실제 카 상부에서 측정된 영상이 아닌 카 내 수평에서 측정된 영상을 사용하여 구현하였다⁽⁷⁾. 또한 폭력 인식에 관한 연구에서는 폭력 학습 시 주로 사용되고 있는 유튜브의 영화 폭력이나 아이스하키 경기 중 폭력 영상을 학습에 사용했기 때문에⁽⁸⁾, 폭력 영상의 촬영시점의 각도가 변경되어 오인식률이 높아지는 원인이 되기 때문에 이 연구에서는 실제 카 내 CCTV를 통해 확보한 영상으로 카 내 폭력 등의 위험상황을 인식할 수 있도록 연구하였다. 영상 인식 기술은 모션벡터를 이용하여 사람의 동작을 인식하는 방법을 사용하였으며, 적용된 알고리듬은 다음과 같다.

먼저 Fig. 2와 같이 네트워크 카메라(IP Camera) 및 동영상 파일 같은 소스에서 비디오/오디오 데이터를 취득하여 압축된 데이터를 디코딩한다.

Fig. 2

Video/audio reception and decoding, data processing flowchart

디코딩된 비디오 데이터는 OpenCV 모듈에서 영상 처리 및 인식 작업을 진행한다. 영상의 픽셀 데이터에 접근이 가능하므로 OpenCV 모듈에서는 Caffe – SSD 딥러닝 객체 인식 모듈을 이용하여 사람이 있는지를 확인하고⁽⁹⁾, 모션벡터 데이터를 이용하여 사람의 움직임 패턴(갇힘, 쓰러짐, 폭력 등)을 구분하여, Fig. 3과 같이 카내의 문 영역과 바닥 영역을 사각형과 같이 사전에 인식시켜 위험상황을 구별할 수 있도록 하였다.

Fig. 3

In-car area recognition

Fig. 4의 (a)는 도어 유사도 인식(닫힘 또는 열림), 사람 인식, 문 닫힘 후 시간과 같은 세 가지 요소를 통해 갇힘을 인식한 화면이며, (b)는 사람 및 모션벡터를 인식하여 폭력을 인식한 화면, (c)는 사람, 하강방향 모션벡터 발생, 바닥인식을 통해 쓰러짐을 인식한 화면의 예이다.

Fig. 4

Image recognition method

디코딩된 오디오 데이터는 스피커로 출력되는 동시에 데이터는 VAD(voice activity detector) 모듈에 입력하여 사람목소리의 특성(MFCC)와 크기(RMS)와 같은 특징 값을 계산한다⁽¹⁰⁾. 계산된 오디오의 특징 값들을 SVM(support vector machine) 모듈에 입력하여 미리 학습된 데이터와 비교하여 위험상황을 인지할 수 있도록 하였다⁽¹¹⁾. Fig. 5는 음성인식을 통한 위험상황 인식 장면의 예이다.

Fig. 5

Sound recognition method

이와 같은 알고리듬을 이용하여, Table 1의 4가지 항목에 대해 영상 인식 및 음성 인식을 하였다. 학습에 사용한 데이터는 엘리베이터 내에서 발생할 수 있는 다양한 위험상황 패턴을 학습하기에는 승강기 내의 폭력 등의 행동이 매우 다양하고 CCTV의 설치위치에 따라 영상의 인식율이 매우 제한적이다. 따라서 위험상황에 대한 시나리오 및 특징을 정의하기 위해 각 상황별로 10개의 데이터를 학습하였고 학습된 10개의 데이터 전체를 테스트 데이터를 구성하여 검증을 실시하였다. 시험한 결과는 Table 1과 같다.

Table 1

Recognition rate of video and sound for hazard situation

3.2 소음·진동 측정 장치 개발

승강기 내에서 발생하는 영상, 음성 인식 시 폭력의 경우 장난과 구분이 모호하며 진동 및 소음을 동시에 측정하여 구분하면 보다 정확하게 상황을 구분 할 수 있을 것으로 판단하여 승강기의 운행 중 소음‧진동을 온라인으로 측정할 수 있는 장비를 개발하였다.

승강기 운전에 따른 급작스러운 정지 또는 충격 등 위험상황 예측을 위한 기본 자료로 활용될 수 있는 승강기의 진동 및 소음을 감지하기 위한 측정시스템 구성은 Fig. 6과 같다.

Fig. 6

System diagram

진동 및 충격을 측정하기 위한 3축의 가속도 센서와 소음센서로 감지된 신호를 처리하는 신호처리부와 이를 처리하는 연산모듈(CPU), 메모리, 통신모듈, 전원관리회로 등으로 구성되며, 승강기 제어반의 신호를 받아서 상승 및 하강 신호 등 상태 신호도 받아들일 수 있도록 제작하였다.

측정시스템의 보호와 시험을 원활하게 수행하기 위하여 Fig. 7과 같이 산업용 PC, 네트워크 통신장비, 전원장치를 하나의 케이스에 내장한 시험 장치를 제작하였다.

Fig. 7

Data acquisition unit

승강기의 진동/소음 측정 센서는 승강기의 승차감 측정에 적합한 MEMS 가속도 센서와 MEMS 소음 센서를 선정하여 제작하였다. 승강기 카 내에서 승객이 승강기를 타고 다닐 때 느끼는 진동/소음을 승차감이라고 한다. 승강기의 승차감 측정범위는 승차감 측정 표준인 KS B ISO 18738-1:2012에서 KS B ISO 8041-1 진동에 대한 인체의 반응-측정기기-제1부: 다목적 진동계의 전신진동 측정범위인 160 Hz를 적용하도록 하고 있다. 또한 소음 측정 범위는 KS C IEC 61672-1의 클래스 2 사운드레벨미터를 위한 요구조건에 적합하여야 한다고 규정하고 있다. 따라서 MEMS 진동센서는 응답 특성 범위가 넓은 일반 회전기계 진동 모니터링용 센서가⁽¹²⁾ 아닌 승강기 승차감 측정⁽¹³⁾에 적합하고 200 Hz 이하의 영역에서 선형성을 갖는 MEMS 가속도 센서를 선정하여 제작하였고, 소음센서는 20 Hz ~ 8000 Hz 영역의 MEMS 마이크로폰 센서를 선택하여 직접 설계 및 제작을 하였으며, 외관은 Fig. 8과 같다.

Fig. 8

Sensors

개발된 진동센서는 위험 상황 발생 시 판단의 기준이 될 뿐만 아니라, 승강기 정상운전여부 판단(승강기의 정상운전에 대한 진동 데이터 수집)의 수단으로도 사용된다.

Fig. 9은 데이터 측정프로그램의 구성으로 센서와 DAQ를 통해 측정된 신호를 측정날짜별로 폴더를 생성하고 시간별로 저장하도록 구성하였으며, 저장된 데이터는 AI서버와 연계하여 데이터를 전송하도록 구성하였다.

Fig. 9

Date acquisition software

최종적으로 장비의 성능을 검증하기 위해 교정을 실시하여 진동측정 정밀도는 목표(0.5 % 이내)보다 정확한 0.4 %를 달성하였고, 소음 측정 정밀도는 목표(typeⅡ이내)보다 정확한 typeⅠ으로 구현하였다.

4.1 데이터 수집 시스템 설계

승강기에서 측정되는 데이터를 실시간 및 주기적으로 수집하고 저장하기 위해 각 데이터별(영상/음성센서, 진동/소음센서, 제어반)로 필요한 형식을 Table 2~Table 4와 같이 정의하였다.

Table 2

Vision and sound data

Table 3

Vibration and noise data

Table 4

Control panel data

또한 측정된 데이터가 개별적인 장치를 통해 측정되어 서버에 저장되므로 정해진 주기마다 시간 동기화가 필요하며 각 모듈과의 지속적인 통신을 통해 누락여부를 검토하여 누락 없이 수집될 수 있도록 전체 시스템을 설계하였으며, 데이터베이스 프로그램은 postgresql을 사용하였다.

4.2 기계학습을 통한 위험 상황 예측판단 시스템 설계

승강기에서 위험 상황 발생 시 자동으로 인식하여 구출작업을 수행하기 위해서는 기계학습이 필요하며 Fig. 10과 같은 처리 절차를 거쳐 학습을 하고 위험 상황별로 예측을 하여 최종 결과를 전달하게 된다.

Fig. 10

Prediction system structure

학습을 위한 위험 상황 데이터는 영상, 진동 패턴, 승강기 운행여부가 학습을 위한 조건이 되며, 학습 데이터는 폭력 상태일 때는 폭력영상, 충격 진동, 승강기 상승이라는 3가지 조건으로 이루어진 데이터를 학습시키는 것이 필요하여 1차적으로 측정되는 데이터가 제한적인 상황에서는 rule base 등을 이용한 기계학습이 가장 적절한 것으로 판단되어 다양한 시나리오에 따라 승강기 내 위험 상황을 학습할 예정이다.

Fig. 11은 승강기 운행 상태 및 이상 유무를 실시간 확인할 수 있는 소프트웨어의 UI이다.

Fig. 11

Main dashboard

5.1 개요

위험상황별 최적 대응기술은 영상, 음성, 진동, 소음 센서에서 측정된 데이터를 이용하여 인공지능에서 예측된 결과로 폭력, 쓰러짐, 갇힘 등의 위험상황을 인지하였을 때는 Fig. 12와 같이 자동구출 알고리듬에 따라 구출운전을 수행하고, 인지된 각 상황에 맞게 경찰, 119, 유지보수 업체에 자동으로 문자 등을 통해 상황전파를 할 수 있도록 설계 및 개발하였다. 추가적으로 자가진단을 통해 고장발생 이전에 승강기에서 발생할 수 있는 결함을 확인하여 조치할 수 있는 자가진단 시스템을 개발하였다.

Fig. 12

Automatic rescue operation algorithm

5.2 자동 구출 운전 알고리듬 개발

환자발생, 폭행발생, 고장에 의한 갇힘 등과 같은 승강기 위험 상황 유형 데이터화 및 위험정도 분류를 통해 자동 구출 운전 알고리듬을 설계하였다.

인공지능을 통해 폭력, 쓰러짐, 갇힘 등의 위험상황을 인지하였을 때는 Fig. 13과 같이 제어반에 정보를 전송하여 폭력 인지 시에는 최기층(근접층)으로 바로 이동하여 승강기 문을 열고 대기하고, 환자 발생(쓰러짐) 시에는 최저층(1층)으로 도착하여 문을 열고 대기하고, 갇힘 고장 시에는 승강기의 고장원인 확인 후 고장 해제가 가능한 경우에는 최기층(근접층)으로 도착하여 문을 열고 승객이 하차가 가능하도록 구성하였다.

Fig. 13

Prediction system structure

5.3 자가 진단 시스템 개발

승강기의 고장 여부를 자가 진단하기 위해 우선 승강기에서 발생한 고장 유형을 분석하였다. 고장 건수는 827건이고 155현장에서 수집되었고 그 중 승강기 내 위험상황 인지와 관련된 고장은 갇힘 고장이며 전체 고장 중 6.41 %였다. 갇힘 고장의 원인을 분석하였더니 주로 door 및 브레이크 관련 부품에 이물질이 끼거나 설정 오류로 인해 갇힘이 발생하여 Table 5와 같이 자가진단 항목을 10가지로 정하였다.

Table 5

Serious breakdown causing passenger’s stuck in elevator(10 EA)

자가 진단 항목 10가지를 바탕으로 고장 예방을 목적으로 승강기 자가 진단 시스템을 Fig. 13과 같이 설계하였다.

자가진단 시스템은 테스트 모드가 되면 자동속도로 최상층으로 이동하여 최상부의 안전스위치(up final limit switch)를 저속모드인 수동운전 상태로 운전하면서 스위치의 동작여부를 점검하고 최상층 복귀 후 최하층까지 자동속도로 운행하면서 각 층별 도어를 열고 닫으면서 도어의 고장으로 인한 갇힘 고장을 방지하기 위해 스위치 및 도어 개폐 시 진동 발생 여부를 확인하면서 도어의 끼임이나 이물질 발생 여부 등을 확인한다.

최저층에 도착하면 수동속도로 최하단의 안전스위치(down final limit switch)의 동작여부를 점검하고, 층고 측정모드로 전환하여 건물 각층별 층고를 측정한 결과를 전송하고 최상층으로 리레벨 후 자동 운전상태로 전환하고 자가진단을 마치도록 구성되어 있다.

따라서, 자가 진단을 수행함으로서 전층 승강장문 확인, 최상층‧최저층 종단 스위치, 과속 조절기, 각 층별 데이터, 브레이크 등을 확인하여 승강기의 상태를 파악 할 수 있고 이상 진동‧소음 감지를 통해 고장 및 갇힘을 최소화 할 수 있다.

5.4 자가 진단 시뮬레이터 시제품 개발

자가 운전 시스템 및 자동 구출 운전을 바탕으로 Figs. 14, 15와 같이 제어반 시뮬레이터와 도어 시뮬레이터 시제품을 제작하여 알고리듬 테스트를 진행하였다.

Fig. 14

Lift simulator sets

Fig. 15

Door simulator

제어반의 자가 진단 시뮬레이터에서 각 부품별 고장 시 80 %이상을 검출하는 것을 목표로 진행되었고, 자가진단 시 고장 검출율을 확인하기 위해 Table 5의 10개 항목에 대해 시뮬레이터에 임의로 고장을 발생시켜 시험한 결과 8번의 조속기 동작을 제외한 9개 항목의 결함 검출이 되어 적합함을 확인하였다.