• >
  • 스타랩과제
  • >    ADAS 컴퓨터 비전 연구실
ADAS 컴퓨터 비전 연구실
ADAS 컴퓨터 비전 연구실
포항공과대학교 / 총괄책임자 : 김대진 / http://imlab.postech.ac.kr / https://github.com/POSTECH-IMLAB
과제 소개
본 과제의 목표는 저조도 또는 다양한 날씨 변화 환경에서도 안정적으로 동작 가능한 지능형 자동차를 위한 (1) 운전자 상태 감시 (Driver Status Monitoring) 기술, (2) 장애물 검출 (Obstacle Detection) 기술, (3) 운전 환경 인지 (Driving Environment Identification) 기술을 구현하기 위해 필수적인 멀티 모달 (RGB, IR, Thermal 카메라) 영상 기반 객체 검출 및 인식 기술을 개발하는 것이다.

본 과제를 통해 개발될 다양한 형태의 데이터베이스와 운전자 상태 감시, 장애물 검출, 운전 환경 인지 기술의 각종 객체 검출 및 인식 SW를 연구실 홈페이지 및 FTP 서버와 Github를 통해 공개할 예정이다. 연차별로 개발된 세부 기술들은 개별적으로 첨단 운전자 지원 시스템에 적용 가능하며, 7~8차년도 알고리즘 통합 및 최적화 과정을 통해 지능형 자동차를 위한 객체 검출 및 인식 통합 시스템 (ODRIS-IV: Object Detection and Recognition Integrated System for Intelligent Vehicles) 구현에 활용하고자 한다.
찾아오는길
경상북도 포항시 남구 청암로 77
고속버스
- 경유지정보 : 서울, 대전, 마산, 광주 방면에서 고속버스 이용 → 포항도착
- 고속버스 이용 및 예약문의 : 1588-6900 ( http://www.kobus.co.kr )
- 교통편 : 택시이용시 20분 소요
시외버스
- 경유지정보 : 대구, 경북, 강원, 부산, 경남, 전남, 경기, 충청지역 시외버스 이용 → 포항도착
- 시외버스 이용 및 예약문의 : 1666-2313 ( http://www.포항터미날.kr )
- 교통편 : 택시 이용시 15분 소요
자가
- 서울 출발시
1. 경부고속도로 → 대구 → 포항고속도로 → 포항IC → 이동도로 → 이동사거리 → 신단지교차로 → POSTECH → C5
2. 경부고속도로 → 대구 → 포항고속도로 → 포항IC → 경주방향 → 유금IC → 유강터널 → POSTECH → C5
- 대구 출발시
1. 대구 → 포항고속도로 → 포항IC → 이동도로 → 이동사거리 → 신단지교차로 → POSTECH → C5
2. 대구 → 포항고속도로 → 포항IC → 경주방향 → 유금IC → 유강터널 → POSTECH → C5
- 부산 출발시 : 경부고속도로 → 경주IC → 포항방향 → 유강터널→ POSTECH → C5
총괄책임자
  • 김대진 교수
  • 포항공과대학교 ADAS 컴퓨터 비전 연구실
  • E-mail: dkim@postech.ac.kr
김대진 교수는 POSTECH 컴퓨터공학과에 재직 중이며, 지능형 미디어 연구실을 이끌고 있다. 주요 연구 분야는 얼굴인식, 영상을 통한 인체분석, 비디오 분석, ADAS 등 컴퓨터 비전 분야에 관심을 가지고 있다. WCU 사업 휴먼센싱 사업단장(2008), 지경부지정 고품질 로봇비전 연구센터 센터장(2009), 포항공과대학교 뇌연구센터 센터장(2009), (재)포항지능로봇연구소 소장(2010), 국가과학기술위원회 지방과학기술진흥협의회위원(2010), 2011년부터 삼성 테크윈-POSTECH 지능형미디어 공동연구센터 센터장을 맡고 있고, 포항공대 학술정보처장(2012), 2013년부터 BK21+포스텍 컴퓨터공학 사업단장을 역임 및 2017년부터 ADAS 영상 처리 연구실(SW스타랩)을 운영하고 있다.
구성원
박현성
- 운전자 상태 감시 / 얼굴 특징점 검출
- hyunsung@postech.ac.kr
차동민
- 운전자 상태 감시 / 시선 추정
- cardongmin@postech.ac.kr
이준영
- 운전자 상태 감시 / 얼굴 인식
- joonyeonglee@postech.ac.kr
김명준
- 운전자 상태 감시 / 포즈 추정
- myeongjun@postech.ac.kr
김용현
- 장애물 검출 / 보행자 검출
- gkyh0805@postech.ac.kr
김인한
- 장애물 검출 / 자동차 검출
- kiminhan@postech.ac.kr
이혜민
- 장애물 검출 / 고장차량 검출
- lhmin@postech.ac.kr
이은섭
- 장애물 검출 / 동물 검출
- eunseop90@postech.ac.kr
홍정현
- 운전 환경 인지 / 문자/표지판 인식
- jhong0312@postech.ac.kr
김태욱
- 운전 환경 인지 / 신호등 인식
- taewook101@postech.ac.kr
김태훈
- 운전 환경 인지 / 차선 검출
- taehoon1018@postech.ac.kr
 
연구내용
운전자 상태 감시
본 과제를 통해 개발하고자 하는 지능형 자동차에서는 안전 운전과 사고 예방이라는 측면에서 운전자의 졸음, 전방 주시 등의 상태를 감시하는 기능이 요구된다. 이는 첨단 운전자 지원 시스템 (Advanced Driver Assistance System, ADAS) 에서 핵심적인 기술로서 차량 내부를 향하는 카메라를 통해 획득한 영상에서 얼굴을 검출/인식하는 기반 기술 뿐만 아니라 졸음 여부를 판단할 수 있는 얼굴 특징점 검출 기술 및 전방 주시 정도를 평가할 수 있는 시선 추정 기술을 필요로 한다. 해당 기술을 성공적으로 구현하기 위하여 과거 본 연구실에서 진행한 Feature 기반의 기술을 확장하고, 심층 신경망과 Deep Learning 알고리즘을 이용한다. 특히, 야간 환경과 같이 기존 알고리즘에서 극복하기 어렵다고 알려진 상황에서도 안정적인 성능을 확보하기 위해 가시광선, 적외선, 열화상 카메라 등의 멀티 모달 디바이스를 활용할 예정이다.
장애물 검출
운전자 상태 감시와 함께 지능형 자동차에서 안전 운전과 사고 예방의 측면에서 중요한 장애물 및 사고 회피를 위한 기반 기술인 다양한 장애물 검출 기술을 개발한다. 본 과제를 통해 회피해야 할 중요 장애물로 인식한 객체로는 보행자 , 자동차, 고장차랑, 동물이 있으며, 이를 야간 환경, 눈/비와 같은 극심한 날씨 환경에서도 안정적인 성능을 확보하기 위해 멀티 모달 디바이스를 활용하여 다양하며 양질의 데이터베이스를 구축하고자 한다.
운전 환경 인지
운전자의 편의성을 향상시키며 운전자의 운전 부하를 경감해주는 지능형 자동차를 구현하기 위해서 이정표, 신호등, 차선, 표지판 등 차량 외부의 운전 환경을 인지하는 기능이 필요하다. 해당 객체는 야간 및 극심한 날씨 등의 외부적인 어려움 뿐만 아니라 영상 내에서 상대적으로 작은 크기로 인해 안정적인 성능을 확보하기 어려운 점이 있다. 따라서 본 과제에서는 작은 객체도 검출할 수 있도록 Feature Pyramid Networks나 Generative Adversarial Networks 등의 심층 신경망의 구조적인 측면도 함께 연구하고 있다.
연구성과
얼굴 인식 성능 성과
얼굴 인식을 위한 효과적인 특징을 학습하기 위해 서로 다른 신원 간의 고유하고 식별 가능한 관계를 포착하기 위한 Pairwise Relational Network (PRN)를 제안한다. PRN은 국부 외관 특징 쌍으로부터 각 얼굴 부위의 관계형 구조를 모델링 및 학습하는 것을 목표로 하며, 이러한 관계 특징들은 신원 정보에 종속적이어야 하기 때문에 국부 외관 특징들의 시퀀스를 이용하여 LSTM 기반 네트워크로부터 모델링 된 신원 상태 특징을 PRN에 추가하였다. 얼굴 인식의 정확도를 더욱 향상시키기 위해 전역 외관 특징과 국부 외관 특징을 결합하여 사용하였으며, LFW DB에서 99.76%의 높은 인식 정확도를 보였으며, YTF DB에서는 96.3%의 State-of-the-art (SOTA)에 해당하는 높은 인식 정확도를 달성하였다. 또한, IJB-A DB에서 신원 인증과 신원 인식에서 SOTA와 견줄 만한 인식률을 보였으며, IJB-B DB에서는 SOTA 인식 성능을 달성하였다.
- European Conference on Computer Vision 2018 (ECCV 2018)에서 발표
- Neural Information Processing Systems (NeuIPS 2018)에서 발표
- KCC 2018에서 우수발표논문상 수상
물체 인식 성능 성과
Convolution Neural Network를 기반으로 하는 물체 검출 기술은 대부분 Scale Normalization 없이 후보 영역의 특징을 추출한다. Scale Normalization의 부재는 같은 물체일지라도 크기가 다르다면 얻어지는 특징들이 작은 값의 차이를 보이는 것을 넘어서 Activation 형태를 완전히 달라지게 만들 수 있다. Scale Aware Network (SAN)는 Scale Normalization를 모방하기 위해 기존 Scale에서의 Convolution Feature와 Reference Scale에서의 Convolutional Feature 사이의 관계를 학습한다. SAN은 Scale에 따른 Variation을 줄여주기 때문에, 검출기가 학습해야 하는 Feature Space를 줄여준다.
- European Conference on Computer Vision 2018 (ECCV 2018)에서 발표
물체 검출 방법들은 대부분 주어진 물체 후보 영역에만 집중해 특징을 추출한다. 하지만 이미지 내의 물체들은 물체 영역 뿐만 아니라 주변 물체나 환경과도 특별한 관계를 가지곤 한다. Boundary Aware Network (BAN)는 물체 영역의 외곽 (Boundary)에 위치한 10개의 영역에 대해 Visual Context를 정의하고 이를 통합하여 학습함으로써 물체 검출에 유용한 힌트를 제공한다. 제안된 BAN은 다양한 물체 검출기에 적용될 수 있고 성능을 빠르게 개선할 수 있다.
- Asian Conference on Computer Vision 2018 (ACCV 2018)에서 발표
딥러닝 기반 End-to-end 자율 주행 기술 개발
기존의 lane Following 기술과는 달리 주행 도로의 조건에 따라 다른 Neural Network Branch를 학습하는 Conditional imitation Learning (CIL) Network를 개선한 End-to-end 자율 주행 기술을 개발하였다. 직진, 우회전, 좌회전, 교차로의 주행 조건에 따라 다른 Branch의 Layer들을 학습하여 다양한 도로 조건에도 지정된 목적지까지 주행 가능하도록 하였다. 개발된 Network는 CNN을 이용하여 입력 영상을 학습하고, LSTM을 통해 현재 차량의 속도에 따른 누적된 정보를 학습하며, Fully Connected Network를 사용한 종/횡 방향 제어 값을 예측한다.
자율 주행 기술 개발을 위한 환경 구축
자율 주행 기술의 실환경 실험을 위해 현대 자동차 I30에 종/횡 방향 제어 액츄에이터, 카메라 및 센서 부착용 기구부 제작, 배터리 및 전선 등의 개조를 통해 자율 주행 테스트 차량을 제작하였다.
자율 주행용 정보 수집을 위해 전방 1개, 측방 2개의 카메라 및 16채널 Lidar와 GPS를 개조된 차량에 부착하였으며, 가/감속 페달과 핸들에 부착된 서보 모터를 통합 컨트롤러에서 제어하여 종/횡 방향 차량 제어가 가능하다. 또한 차량 트렁크에 전원 박스를 구성하여 컴퓨터, 센서 , 모터 등의 구동을 위한 전원 공급과 전체 차량 전원 공급을 위한 배선 작업을 진행하였다.
개조 차량 보관 및 추가 개조를 위한 작업 공간 확보를 위해 학교 내에 대형 천막을 설치하고 이를 위한 전기 공사를 완료하였다.
핵심기술개발 성공사례
본 연구팀은 스타랩을 통해 지능형 자동차를 위한 객체 검출 및 인식 기술을 개발하였으며, ‘제13회 미래자동차 기술공모전 자율주행자동차 경진대회’의 영상인식분야 PC부문에서 1위를 수상하여 자동차 검출, 보행자 검출, 신호등 검출 및 인식, 차선 검출, 표지판 검출 및 인식 기술의 우수성을 인정받았다. 또한 지능형 자동차의 자율주행을 위한 조향, 제동, 구동 제어 기술을 개발하여, ‘2019 대학생 자율주행자동차 경진대회’의 예선을 통과하고 2020년 본선 대회를 준비하고 있다. 특히 고장차량 검출을 위한 객체 추적 기술을 개발하여, 객체 추적 분야에서 공인된 Visual Object Tracking(VOT) 2015, 2016, 2017 Dataset에서 현재 세계 최고 성능을 달성하였다.
공개SW R&D 전략 및 활성화 성과
구분 지표 결과 내용
공개 SW 활용도 라이선스 LGPL 공개 SW의 활용 가능성을 평가할 수 있는 정량적 지표
공개 SW 활용도 Fork 수 117 공개 SW의 확산 정도를 측정할 수 있는 정량적 지표
공개 SW 활용도 SW 공개 건수 25 공개되는 SW의 수를 통해 해당 커뮤니티의 활성도 평가 가능
2017년부터 현재까지 누적 건수로써 25건의 SW를 공개함으로써 본 과제에 참가하고 있는 참여 연구원 1명당 2.5건의 SW를 공개하였으며, 본 과제를 통해 개발된 SW는 2017년 11월부터 공개를 시작하여 현재까지 117건의 Fork가 발생하여 공개된 SW의 활용도를 보여주었다.
졸업생 취업 현황
2017년 2018년 2019년
석사 0 안주현(2월, SuaLab),
박경민(9월, NCSOFT)
홍정현(9월 예정)
박사 0 윤종민(9월, StradVision) 강봉남(2월, StradVision), 김연호(2월, POSTECH), 김용현(9월 예정)
합계 0 2/1 1/3
졸업생 배출인력 우수사례
2018년 2월 졸업한 안주현(석사)과 동년 9월 졸업한 박경민(석사), 윤종민(박사)는 각자 스타랩 과제를 통해 각자 지능형 자동차를 위한 차선 검출 기술과 신호등 검출 기술, 얼굴 검출 기술을 연구하였다. 안주현은 현재 SuaLab, 박경민은 NCSOFT에 입사하여 딥러닝을 이용한 머신비전 분야를 연구하고 있으며, 본 과제에서 진행한 연구로 제24회 휴먼테크 논문대상에서 동상을 수상한 윤종민은 ㈜StradVision에 입사하여 얼굴 검출 및 객체 인식 관련 연구를 진행하고 있다.
 
2019년 2월 졸업한 강봉남(박사)는 각자 지능형 자동차를 위한 얼굴 검출 기술을 연구하였으며, 본 과제에서 진행한 연구로 제 25회 휴먼테크 논문대상에서 동상을 수상하였다. 현재는 ㈜StradVision에 입사하여 얼굴 인식 관련 연구를 진행하고 있다. 배출 인력 모두 스타랩 과제를 통해 습득한 머닝러닝 및 딥러닝 기술을 더욱 확장, 발전시킬 수 있는 분야로 취업하였으며 이는 본 과제의 핵심인력양성 성공사례로 볼 수 있다.
준비중입니다.