• >
  • 스타랩과제
  • >    ADAS 컴퓨터 비전 연구실
ADAS 컴퓨터 비전 연구실
ADAS 컴퓨터 비전 연구실
포항공과대학교 / 총괄책임자 : 김대진 / http://imlab.postech.ac.kr
과제 소개
본 과제의 목표는 저조도 또는 다양한 날씨 변화 환경에서도 안정적으로 동작 가능한 지능형 자동차를 위한 (1) 운전자 상태 감시 (Driver Status Monitoring) 기술, (2) 장애물 검출 (Obstacle Detection) 기술, (3) 운전 환경 인지 (Driving Environment Identification) 기술을 구현하기 위해 필수적인 멀티 모달 (RGB, IR, Thermal 카메라) 영상 기반 객체 검출 및 인식 기술을 개발하는 것이다. 본 과제를 통해 개발될 다양한 형태의 데이터베이스와 운전자 상태 감시, 장애물 검출, 운전 환경 인지 기술의 각종 객체 검출 및 인식 SW를 연구실 홈페이지 및 FTP 서버와 Github를 통해 공개할 예정이다. 연차별로 개발된 세부 기술들은 개별적으로 첨단 운전자 지원 시스템에 적용 가능하며, 7~8차년도 알고리즘 통합 및 최적화 과정을 통해 지능형 자동차를 위한 객체 검출 및 인식 통합 시스템 (ODRIS-IV: Object Detection and Recognition Integrated System for Intelligent Vehicles) 구현에 활용하고자 한다.
찾아오는길
경상북도 포항시 남구 청암로 77
고속버스
- 경유지정보 : 서울, 대전, 마산, 광주 방면에서 고속버스 이용 → 포항도착
- 고속버스 이용 및 예약문의 : 1588-6900 ( http://www.kobus.co.kr )
- 교통편 : 택시이용시 20분 소요
시외버스
- 경유지정보 : 대구, 경북, 강원, 부산, 경남, 전남, 경기, 충청지역 시외버스 이용 → 포항도착
- 시외버스 이용 및 예약문의 : 1666-2313 ( http://www.포항터미날.kr )
- 교통편 : 택시 이용시 15분 소요
자가
- 서울 출발시
1. 경부고속도로 → 대구 → 포항고속도로 → 포항IC → 이동도로 → 이동사거리 → 신단지교차로 → POSTECH → C5
2. 경부고속도로 → 대구 → 포항고속도로 → 포항IC → 경주방향 → 유금IC → 유강터널 → POSTECH → C5
- 대구 출발시
1. 대구 → 포항고속도로 → 포항IC → 이동도로 → 이동사거리 → 신단지교차로 → POSTECH → C5
2. 대구 → 포항고속도로 → 포항IC → 경주방향 → 유금IC → 유강터널 → POSTECH → C5
- 부산 출발시 : 경부고속도로 → 경주IC → 포항방향 → 유강터널→ POSTECH → C5
총괄책임자
  • 김대진 교수
  • 포항공과대학교 ADAS 컴퓨터 비전 연구실
  • E-mail: dkim@postech.ac.kr
김대진 교수는 POSTECH 컴퓨터공학과에 재직 중이며, 지능형 미디어 연구실을 이끌고 있다. 주요 연구 분야는 얼굴인식, 영상을 통한 인체분석, 비디오 분석, ADAS 등 컴퓨터 비전 분야에 관심을 가지고 있다. WCU 사업 휴먼센싱 사업단장(2008), 지경부지정 고품질 로봇비전 연구센터 센터장(2009), 포항공과대학교 뇌연구센터 센터장(2009), (재)포항지능로봇연구소 소장(2010), 국가과학기술위원회 지방과학기술진흥협의회위원(2010), 2011년부터 삼성 테크윈-POSTECH 지능형미디어 공동연구센터 센터장을 맡고 있고, 포항공대 학술정보처장(2012), 2013년부터 BK21+포스텍 컴퓨터공학 사업단장을 역임 및 2017년부터 ADAS 영상 처리 연구실(SW스타랩)을 운영하고 있다.
구성원
강봉남
- 얼굴 검출 및 인식
- bnkang@postech.ac.kr
박현성
- 운전자 상태 감시 / 얼굴 특징점 검출
- hyunsung@postech.ac.kr
차동민
- 운전자 상태 감시 / 시선 추정
- cardongmin@postech.ac.kr
김용현
- 장애물 검출 / 보행자 검출
- gkyh0805@postech.ac.kr
김인한
- 장애물 검출 / 자동차 검출
- kiminhan@postech.ac.kr
이혜민
- 장애물 검출 / 고장차량 검출
- lhmin@postech.ac.kr
이은섭
- 장애물 검출 / 동물 검출
- eunseop90@postech.ac.kr
홍정현
- 운전 환경 인지 / 문자,표지판 인식
- jhong0312@postech.ac.kr
박경민
- 운전 환경 인지 / 신호등 검출 및 인식
- gmbak@postech.ac.kr
유동규
- 운전 환경 인지 / 차선 검출
- dkyu92@postech.ac.kr
연구내용
운전자 상태 감시
본 과제를 통해 개발하고자 하는 지능형 자동차에서는 안전 운전과 사고 예방이라는 측면에서 운전자의 졸음, 전방 주시 등의 상태를 감시하는 기능이 요구된다. 이는 첨단 운전자 지원 시스템 (Advanced Driver Assistance System, ADAS) 에서 핵심적인 기술로서 차량 내부를 향하는 카메라를 통해 획득한 영상에서 얼굴을 검출/인식하는 기반 기술 뿐만 아니라 졸음 여부를 판단할 수 있는 얼굴 특징점 검출 기술 및 전방 주시 정도를 평가할 수 있는 시선 추정 기술을 필요로 한다. 해당 기술을 성공적으로 구현하기 위하여 과거 본 연구실에서 진행한 Feature 기반의 기술을 확장하고, 심층 신경망과 Deep Learning 알고리즘을 이용한다. 특히, 야간 환경과 같이 기존 알고리즘에서 극복하기 어렵다고 알려진 상황에서도 안정적인 성능을 확보하기 위해 가시광선, 적외선, 열화상 카메라 등의 멀티 모달 디바이스를 활용할 예정이다.
장애물 검출
운전자 상태 감시와 함께 지능형 자동차에서 안전 운전과 사고 예방의 측면에서 중요한 장애물 및 사고 회피를 위한 기반 기술인 다양한 장애물 검출 기술을 개발한다. 본 과제를 통해 회피해야 할 중요 장애물로 인식한 객체로는 보행자 , 자동차, 고장차랑, 동물이 있으며, 이를 야간 환경, 눈/비와 같은 극심한 날씨 환경에서도 안정적인 성능을 확보하기 위해 멀티 모달 디바이스를 활용하여 다양하며 양질의 데이터베이스를 구축하고자 한다.
운전 환경 인지
운전자의 편의성을 향상시키며 운전자의 운전 부하를 경감해주는 지능형 자동차를 구현하기 위해서 이정표, 신호등, 차선, 표지판 등 차량 외부의 운전 환경을 인지하는 기능이 필요하다. 해당 객체는 야간 및 극심한 날씨 등의 외부적인 어려움 뿐만 아니라 영상 내에서 상대적으로 작은 크기로 인해 안정적인 성능을 확보하기 어려운 점이 있다. 따라서 본 과제에서는 작은 객체도 검출할 수 있도록 Feature Pyramid Networks나 Generative Adversarial Networks 등의 심층 신경망의 구조적인 측면도 함께 연구하고 있다.
연구성과
얼굴 인식 성능 성과
얼굴 인식을 위한 효과적인 특징을 학습하기 위해 서로 다른 신원 간의 고유하고 식별 가능한 관계를 포착하기 위한 Pairwise Relational Network (PRN)를 제안한다. PRN은 국부 외관 특징 쌍으로부터 각 얼굴 부위의 관계형 구조를 모델링 및 학습하는 것을 목표로 하며, 이러한 관계 특징들은 신원 정보에 종속적이어야 하기 때문에 국부 외관 특징들의 시퀀스를 이용하여 LSTM 기반 네트워크로부터 모델링 된 신원 상태 특징을 PRN에 추가하였다. 얼굴 인식의 정확도를 더욱 향상시키기 위해 전역 외관 특징과 국부 외관 특징을 결합하여 사용하였으며, LFW DB에서 99.76%의 높은 인식 정확도를 보였으며, YTF DB에서는 96.3%의 State-of-the-art (SOTA)에 해당하는 높은 인식 정확도를 달성하였다. 또한, IJB-A DB에서 신원 인증과 신원 인식에서 SOTA와 견줄 만한 인식률을 보였으며, IJB-B DB에서는 SOTA 인식 성능을 달성하였다.
- European Conference on Computer Vision 2018 (ECCV 2018)에서 발표 예정
- KCC 2018에서 우수발표논문상 수상
물체 인식 성능 성과
Convolution Neural Network를 기반으로 하는 물체 검출 기술은 대부분 Scale Normalization 없이 후보 영역의 특징을 추출한다. Scale Normalization의 부재는 같은 물체일지라도 크기가 다르다면 얻어지는 특징들이 작은 값의 차이를 보이는 것을 넘어서 Activation 형태를 완전히 달라지게 만들 수 있다. Scale Aware Network (SAN)는 Scale Normalization를 모방하기 위해 기존 Scale에서의 Convolution Feature와 Reference Scale에서의 Convolutional Feature 사이의 관계를 학습한다. SAN은 Scale에 따른 Variation을 줄여주기 때문에, 검출기가 학습해야 하는 Feature Space를 줄여준다.
- European Conference on Computer Vision 2018 (ECCV 2018)에서 발표 예정
핵심기술개발 성공사례
본 연구팀은 스타랩을 통해 지능형 자동차를 위한 객체 검출 및 인식 기술을 개발하였으며, ‘제13회 미래자동차 기술공모전 자율주행자동차 경진대회’의 영상인식분야 PC부문에서 1위를 수상하여 자동차 검출, 보행자 검출, 신호등 검출 및 인식, 차선 검출, 표지판 검출 및 인식 기술의 우수성을 인정받았다. 또한 지능형 자동차의 자율주행을 위한 조향, 제동, 구동 제어 기술을 개발하여, ‘2019 대학생 자율주행자동차 경진대회’의 예선을 통과하고 2020년 본선 대회를 준비하고 있다. 특히 고장차량 검출을 위한 객체 추적 기술을 개발하여, 객체 추적 분야에서 공인된 Visual Object Tracking(VOT) 2015, 2016, 2017 Dataset에서 현재 세계 최고 성능을 달성하였다.
졸업생 취업 현황
2017년 2018년
석사 0 안주현(2월, SuaLab), 박경민(9월 예정, 미정)
박사 0 윤종민(9월 예정, StradVision)
합계 0 2/1
졸업생 배출인력 우수사례
2018년 2월 졸업한 안주현(석사)과 동년 8월 졸업 예정인 윤종민(박사)는 각자 스타랩 과제를 통해 지능형 자동차를 위한 차선 검출 기술과 얼굴 검출 기술을 연구하였다. 안주현은 현재 SUALAB에 입사하여 딥러닝을 이용한 머신비전 분야를 연구하고 있으며, 본 과제에서 진행한 연구로 제24회 휴먼테크 논문대상에서 동상을 수상한 윤종민은 ㈜스트라드비전에 입사하여 얼굴 검출 및 객체 인식 관련 연구를 진행할 예정이다. 배출 인력 모두 스타랩 과제를 통해 습득한 머닝러닝 및 딥러닝 기술을 더욱 확장, 발전시킬 수 있는 분야로 취업하여 본 과제의 핵심인력양성 성공사례로 볼 수 있다.
준비중입니다.