• >
  • 스타랩과제
  • >    컴퓨터그래픽스 연구실
컴퓨터그래픽스 연구실
빅 비주얼 데이터 기반의 고품질 사진 메이크업 SW 개발
포항공과대학교 / 총괄 책임자 : 이승용 교수 / http://coupe.postech.ac.kr/
과제 소개
본 연구는 대량의 영상 및 비디오로 구성된 빅 비주얼 데이터를 이용하여 기존 계산사진학 기술의 한계를 극복하고 영상 및 비디오의 품질을 개선시키는 것을 목표로 한다. 이를 위해 영상 품질의 결정 요소를 선명도, 색상, 구도로 분류하고 딥러닝을 이용하여 각각에 대해 최적화된 빅 비주얼 데이터 셋 수집, 프라이어 모델 분석, 품질 개선 네트워크 학습을 수행한다. 본 연구실은 상기 연구를 통해 구현되는 기술들을 사용자 및 연구자들이 쉽게 접근 및 활용할 수 있도록 공개 소프트웨어화 하고 있으며 통합 소프트웨어 구축을 계획 중이다.
인사말
안녕하십니까? 포항공과대학교 컴퓨터공학과 그래픽스 연구실 이승용 교수 입니다. 계산사진학은 컴퓨팅 기술을 사용하여 디지털 영상 및 비디오의 품질을 개선하는 기술입니다. 스마트폰의 대중화, Youtube, Facebook 등 다양한 영상 매체의 확산으로 계산사진학의 필요성이 갈수록 증가 하고 있습니다.저희 포항공과대학 그래픽스 연구실에서는 빅 비주얼 데이터를 사용하여 기존 계산사진학 기술의 한계점을 뛰어넘고 보다 높은 수준의 영상 및 비디오 평가, 복원, 개선 기술을 개발하는 것을 목표로 하고 있습니다. 특히, 개발된 기술을 공개하여 연구결과의 활용도와 파급효과를 높이고 외부 연구자들과의 긴밀한 협력관계를 유지하고자 노력하고 있습니다.본 연구실은 “빅 비주얼 데이터 기반의 고품질 사진 메이크업 SW 개발” 연구를 통하여 배출된 인력 및 기술들이 국내 디지털 영산 산업의 성장에 기여하길 기대하며, 항상 최선을 다하겠습니다. 감사합니다.
연락처
전화 054-279-5652
메일주소 : zwitterion27@postech.ac.kr
찾아오는길
경북 포항시 남구 청암로 77 포항공과대학교 정보통신연구소 233호
고속버스
- 경유지정보 : 서울, 대전, 마산, 광주 방면에서 고속버스 이용 → 포항도착
- 고속버스 이용 및 예약문의 : 1588-6900 ( http://www.kobus.co.kr )
- 교통편 : 택시이용시 20분 소요
시외버스
- 경유지정보 : 대구, 경북, 강원, 부산, 경남, 전남, 경기, 충청지역 시외버스 이용 → 포항도착
- 시외버스 이용 및 예약문의 : 1666-2313 ( http://www.포항터미날.kr )
- 교통편 : 택시 이용시 15분 소요
자가
- 서울 출발시
1. 경부고속도로 → 대구 → 포항고속도로 → 포항IC → 이동도로 → 이동사거리 → 신단지교차로 → POSTECH → C5
2. 경부고속도로 → 대구 → 포항고속도로 → 포항IC → 경주방향 → 유금IC → 유강터널 → POSTECH → C5
- 대구 출발시
1. 대구 → 포항고속도로 → 포항IC → 이동도로 → 이동사거리 → 신단지교차로 → POSTECH → C5
2. 대구 → 포항고속도로 → 포항IC → 경주방향 → 유금IC → 유강터널 → POSTECH → C5
- 부산 출발시 : 경부고속도로 → 경주IC → 포항방향 → 유강터널→ POSTECH → C5
총괄책임자
포항공과대학교 총괄 책임자 : 이승용 교수 / http://coupe.postech.ac.kr
이승용 교수는 POSTECH 컴퓨터공학과에서 컴퓨터그래픽스 연구실을 이끌고 있다. 주요 연구분야는 영상 및 비디오 처리, 딥러닝 기반 계산사진학, 3D 환경 복원 등이며, 고화질의 영상과 대규모 삼차원 모델을 생성하는 그래픽스 및 비전 기술에 관심을 가지고 있다. 이 교수는 컴퓨터그래픽스학회 회장(2014-2015)을 역임하였고, 가헌학술상(2014), 한국컴퓨터그래픽스 대상(2018)을 수상하였다. ACM SIGGRAPH, Eurographics 등의 국제학회 프로그램 위원, IEEE TVCG, IEEE CG&A, Computer Graphics Forum 등의 국제저널 부편집장으로 활동하였으며, Pacific Graphics 프로그램위원장(2009) 및 조직위원장(2014)으로 봉사하였다. 이 교수는 연구결과의 산업계 적용에도 관심이 많아 2009년 SIGGRAPH Asia에 발표된 영상 디블러링과 2014 IEEE TPAMI에 게재된 사진 수직보정 연구는 미국 Adobe Systems에 기술이전 후 최신 제품군에 탑재되었다.
구성원
구성원 연구분야 연락처 Github Link 비고
전준호 2.5D/3D vision,
image processing
zwitterion27@postech.ac.kr https://github.com/JunhoJeon 박사과정
손형석 deep learning,
image processing
sonhs@postech.ac.kr https://github.com/gudtjr8462 박사과정
정진웅 3D reconstruction,
360 vision
jinwoong.jung@postech.ac.kr https://github.com/JinwoongJung 박사과정
이준용 deep learning,
image processing
junyonglee@postech.ac.kr https://github.com/codeslake 박사과정
김준건 non-rigid 3D reconstruction, image processing jungeonkim@postech.ac.kr https://github.com/monsterPro 박사과정
이승돈 image processing,
360 vision
weroiu88@postech.ac.kr https://github.com/sdonlee88 박사과정
유재필 deep learning,
super-resolution
chiller123@postech.ac.kr https://github.com/chiller123 석사과정
이건희 deep learning,
image processing
victorleee@postech.ac.kr https://github.com/GunheeLee 석사과정
박성진 deep learning,
image recognition
windray@postech.ac.kr https://github.com/SeongjinPark 박사 졸업 예정
김범석 deep learning,
image processing
beomseok0203@postech.ac.kr https://github.com/beomseok0203 석사 졸업 예정
연구내용
영상의 품질 및 미학적 특징 분석
영상 분석 기술은 빅 비주얼 데이터를 품질 및 미학적 기준으로 분류하여 데이터 셋을 생성하고, 개선이 필요한 영상을 자동으로 판단하는 것을 목표로 한다. 본 연구에서는 단일 네트워크를 사용하던 딥러닝 기술을 발전시켜 네트워크에서 생성된 특징을 미학적 특징에 맞게 새롭게 부호화하여 영상 평가 및 영상의 미학적 분류 성능을 높였다. 해당 연구는 멀티미디어 분야에서 최고 권위 학술지로 평가 받는 IEEE Transactions on Multimedia에 게재되었다.
빅 비주얼 데이터를 이용한 영상 및 비디오의 선명도 개선 연구
영상 선명도 개선은 저화질의 영상을 고화질의 영상으로 변환하는 것을 목표로 한다. 기존 영상 선명도 관련 연구들은 정확도에 영향을 많이 미치는 영상의 전체적인 구조나 에지 복원에 집중했기 때문에 세밀한 질감까지 복원하지 못 했다. 본 연구에서는 영상의 디테일까지 학습할 수 있는 최신 딥러닝 방법을 개발하고, 이를 이용한 더욱 자연스러운 초해상도 영상을 만드는 방법을 제안하여 세계 최고 수준의 비전 학회로 평가받는 ECCV 2018에서 발표할 예정이다.
빅 비주얼 데이터를 이용한 영상 및 비디오의 색상 개선 연구
영상 색상 개선은 사용자의 선호도 등에 따라 다양한 스타일의 결과를 요구한다. 본 연구에서도 채도, 대비 등 일반적인 색상 요소를 개선시키는 알고리즘 뿐만 아니라, 낮 시간대에 촬영된 사진을 밤 시간대에 촬영된 사진 처럼 변환하거나 일반 영상을 HDR 스타일의 영상으로 변환하는 등의 다양한 스타일의 색상 변환 및 개인 앨범 사진들에 기반하여 주관적인 선호도를 반영하는 색상 개선 알고리즘을 연구하고 있다.
빅 비주얼 데이터를 이용한 영상 및 비디오의 구도 개선 연구
영상의 구도는 영상의 품질을 결정하는 중요한 요소이다. 영상의 구도에 영향을 미치는 요소가 다양하고 사용자 주관에 영향을 많이 받기 때문에, 영상 구도를 평가하고 개선하는 네트워크를 학습하는 것은 어려운 문제다. 본 연구에서는 딥러닝을 이용하여 단일 영상에서의 크롭 및 회전을 이용한 구도 개선을 다루었고, 이를 360도 영상으로 확장하여 안정적인 구도 영상을 생성하는 연구 결과를 The Visual Computer에 발표하였다.
논문 및 특허성과
개발된 다양한 영상 개선 알고리즘을 Github 및 자체 홈페이지 COUPE에 등록
- 다운로드 : 논문및특허성과_표.xlsx
- 다운로드 : 논문및특허성과_도표.xlsx
공개 SW
개발된 다양한 영상 개선 알고리즘을 Github 및 자체 홈페이지 COUPE에 등록/span>
- https://github.com/posgraph
- http://coupe.postech.ac.kr/
오픈소스성과
NO SW 명칭 특징 공개SW 링크
1 Image Deconvolution using CNN 임의의 블러 영상과 해당 블러 커널이 입력으로 들어오면 네트워크는 선명한 결과 영상을 반환 https://github.com/posgraph/coupe.cnn-deconvolution
2 Detail Enhancement using CNN 임의의 영상이 입력으로 들어오면 네트워크는 색 대역폭이 늘어난 영상을 반환. https://github.com/posgraph/coupe.detail-enhance-using-CNN
3 Facial Image Enhancement 얼굴 영상이 입력으로 들어오면 시스템은 미적인 특징이 개선된 얼굴 영상을 반환. https://github.com/posgraph/coupe.face-enhancement
4 Composition Score Calculator 임의의 영상이 입력으로 들어오면 네트워크는 영상의 구도를 평가하여 구도 점수를 반환. https://github.com/posgraph/coupe.composition-score-calculator
5 HDR Style Brightness Enhancement 임의의 영상이 입력으로 들어오면 시스템은 색 대역폭이 넓은 HDR 스타일로 변환된 영상을 반환. https://github.com/posgraph/coupe.HDRstyle-brightness-enhance
6 Unsupervised color enhancement 임의의 영상이 입력으로 들어오면 시스템은 색감이 개선된 영상을 반환. https://github.com/posgraph/coupe.unsupervised-color-enhance
7 Bilateral Texture Filtering 영상의 형태를 보존 하면서 질감을 제거 https://github.com/opencv/opencv_contrib/blob/master/modules/ximgproc/src/bilateral_texture_filter.cpp
https://github.com/posgraph/coupe.bilateral-texture-filtering
8 Composition Classifier 영상의 구도를 좋음,나쁨으로 구분 https://github.com/posgraph/coupe.composition-classifier
9 Deconvolution with Outlier Handling 영상의 블러제거 수행 시 불빛같은 아웃라이어를 제거 https://github.com/posgraph/coupe.deconv-with-outlier
10 Noon to Night Color Transfer 주어진 오후 영상을 저녁영상으로 변환 https://github.com/posgraph/coupe.noon-to-night
11 Repeated Image Cropping 영상을 크랍하여 구도개선 https://github.com/posgraph/coupe.repeated-cropping
12 RGBD Semantic Segmentation 영상의 깊이를 이용한 Sementic Segmentation https://github.com/posgraph/coupe.RGBD-semantic-segmentation
13 Image Rotation Adjustment 영상을 회전하여 구도 개선 https://github.com/posgraph/coupe.rotation
14 Spatial Adversarial Transformer for Image Composition Adjustment 영상을 3D 변환하여 구도 개선 https://github.com/posgraph/coupe.spatial-adversarial-transformer
15 Text Image Super Resolution 글자를 포함한 영상의 선명도 개선 https://github.com/posgraph/coupe.text-image-sr
16 Interval Gradient for Image Texture Filtering 영상의 형태를 보존 하면서 질감을 제거 https://github.com/posgraph/interval_gradient
17 Intrinsic Image Decomposition with Texture Handling 영상의 질감을 고려한 Intrinsic Image 생성 https://github.com/posgraph/intrinsic_texture
홍보
2015년 5월 19일 MBC 8시 뉴스데스크에 출현하여 본 연구 목표와 밀접한 주제인 차세대 지능형 카메라와 관련된 영상 처리 원천기술을 소개하였다. 또한 컴퓨터 비전 분야에서 최고 수준으로 평가 받는 ICCV 2017에 참가하여 본 연구에서 개발된 소프트웨어의 데모를 시연하는 등 매해 국내외 학회 및 워크샵에 참가하여 부스를 개설하고 본 연구에서 개발된 기술들을 소개하고 홍보하였다. 올해도 최고 수준으로 평가 받는 ECCV 2018에 참가하여 초해상도 영상 생성 기술 등, 본 연구에서 개발된 기술들의 데모를 시연할 예정이다.