• >
  • 스타랩과제
  • >    운동 연구실
운동 연구실
딥러닝에 기반한 인체운동 시뮬레이션 (2017-0-00878)
서울대학교 / 이제희 교수님 / http://mrl.snu.ac.kr
과제 소개
본 연구는 사람의 움직임을 이해하고, 분석하고, 컴퓨터로 재현하는데 필요한 인공 신경망 모델 설계, 효과적인 학습 알고리즘 개발, 사실적인 인체 모델링과 정교한 제어 알고리즘 개발을 목표로 한다. 사람의 움직임을 다양한 관점에서 이해하고 분석할 수 있다.
사람은 움직이기 위해서 인지-사고-운동의 3단계 과정을 거친다. 시각, 청각, 촉각, 균형감각을 통해서 주변 상황과 몸 상태에 대한 정보를 수집하고, 이렇게 수집된 정보는 신경 경로(neural pathway)를 따라 뇌에 전달되어 어떻게 반응할지에 대해 결정한다. 이 결정에 따라서 다시 신경 경로를 따라 운동 신호를 전달하고 수백 개의 근육들을 정밀하게 조율하여 실제 움직임을 만들어낸다. 전 단계에 걸쳐 인체 내의 많은 기관들이 신경망(neural network)을 통해 연결되고, 서로 간에 신호를 주고받으며 상호작용한다.
컴퓨터 상에서 사람의 운동 원리를 재현하기 위해서는 인지-사고-운동의 세 단계에 걸쳐 모두를 포괄하는 대형 인공 신경망을 필요로 한다. 기존의 인체운동에 관한 연구에서는 각 부분별로 특화된 알고리즘을 개발하는 방식으로 이루어졌기 때문에, 모든 알고리즘들을 하나로 포괄하여 시각적으로 인지한 결과가 운동 계획에 영향을 미치고 다시 각 관절의 움직임을 만들어내는 전 과정으로 연결하는데 어려움을 겪어왔다. 1970년대 컴퓨터를 이용한 인공 신경망(artificial neural network)에 대한 연구가 시작되었으며 최근 딥러닝을 통해 성능 향상이 혁신적으로 일어났다. 본 연구는 인공신경망 모델을 통해 생물학적 신경망이 사람의 움직임을 만들어내는 전 과정을 컴퓨터를 통해 시뮬레이션하고자 한다. 인공신경망을 통한 전과정 학습(end-to-end learning) 방법은 인체운동의 전체과정을 이해하고, 컴퓨터로 시뮬레이션하는데 중요한 시발점이 될 것으로 기대한다.
아래의 세부 주제들은 연구의 핵심 부분을 공유하며, 서로 간에 밀접한 연관을 가지고 진행할 계획이다. 결과적으로는 인체운동 시뮬레이션의 전반적인 연구를 포괄하는 소프트웨어 시스템을 구축하며, 이를 공개 소프트웨어화하여 누구나 쉽게 활용하고 테스트해 볼 수 있도록 한다.
연락처
연락처 : 02-880-1845
찾아오는길
서울 관악구 관악로 1 서울대학교 302동 (제 2공학관) 312-1호
총괄책임자
서울대학교 / 교수 : 이제희 교수 / 홈페이지 : https://mrl.snu.ac.kr / E-mail:jehee@mrl.snu.ac.kr
이제희 교수는 서울대학교 컴퓨터공학부에 재직 중이며, 서울대학교 운동연구실을 이끌고 있다. 주요 연구 분야는 컴퓨터 그래픽스, 애니메이션, 생체역학, 로보틱스, 의료보행분석 등이며, 주로 사람의 움직임을 이해하고, 분석하고, 계획하고, 시뮬레이션하는데 관심을 가지고 있다. ACM/EG Symposium on Computer Animation(SCA)의 프로그램 공동위원장을 2012년 역임하였으며, 2018년 ACM Conference on Motion, Interaction, and Games(MIG)의 프로그램 공동위원장이다. ACM SIGGRAPH과 ACM SIGGRAPH Asia을 비롯한 다수의 국제학회에 프로그램 위원으로 활동하고 있으며, 현재 IEEE Transactions on Visualization and Computer Graphics의 부편집장을 맡고 있다.
구성원
성명 연구 분야 메일
원정담 (PostDoc) 다양한 생물체 제어 jungdam@mrl.snu.ac.kr
박황필 물리기반 이족보행 제어 hppark@mrl.snu.ac.kr
이경호 데이터 기반 동작 학습 및 생성 khlee@mrl.snu.ac.kr
조동철 물리기반 이족보행제어 dcjo@mrl.snu.ac.kr
유리 물리기반 이족보행제어 yuri@mrl.snu.ac.kr
박수환 물리기반 이족보행제어 shpark@mrl.snu.ac.kr
민세희 다양한 생물체 제어 sehee@mrl.snu.ac.kr
이승환 사실적인 인체모델링 lsw9021@mrl.snu.ac.kr
이재동 데이터 기반 동작 학습 및 생성 jaedong@mrl.snu.ac.kr
김민석 사실적인 인체모델링 minseok@mrl.snu.ac.kr
박정남 다양한 생물체 제어 jungnam04@mrl.snu.ac.kr
Jason Chemin 사실적인 인체모델링 chemin@mrl.snu.ac.kr
이세영 데이터 기반 동작 학습 및 생성 seyounglee@mrl.snu.ac.kr
류호석 물리기반 이족보행제어 hoseok.ryu@mrl.snu.ac.kr
연구내용
물리기반 이족보행 제어
이족 보행 캐릭터를 물리적으로 제어하는 문제는 로보틱스와 컴퓨터그래픽스 분야에서 오랫동안 연구되어 온 주제이다. 최근 들어 균형을 유지하며 걷는 로봇이나 시뮬레이션 캐릭터들이 발표되고 있지만 사람의 다양한 걸음걸이 동작이나 좀 더 복잡한 동작을 재현하는 것은 아직도 어려운 문제로 남아있다. 우리는 모션 캡처 데이터를 기반으로 하여 이족 보행 캐릭터를 효과적으로 제어하는 알고리즘을 개발하였다. 이를 통해 이족 보행 캐릭터를 사람처럼 자연스럽게 움직이면서, 다양한 걸음걸이로 주변 환경과 물리적 상호작용을 하며 균형을 잃지 않고 보행하도록 제어하는 것을 가능하도록 하였다. 또한 단순한 보행 동작을 넘어서서 사람의 정교한 발 모양에서 나오는 실제적인 다양한 움직임들을 물리적으로 시뮬레이션하는 연구들을 계속 진행 중이다.
데이터 기반 동작 학습 및 생성
1980년대 후반 사람의 3차원 움직임을 수치로 변환하여 컴퓨터 상의 데이터로 저장할 수 있는 광학식 모션 캡쳐 장비가 등장하였다. 이에 따라 대량의 고품질 동작 데이터를 얻는 것이 가능해짐에 따라 이를 분석하고 처리하는 것에 대한 많은 연구를 진행했다. 대용량 모션 데이터에서 효율적으로 분석하고 처리하여 동작 생성 원리를 자동으로 얻어내는 것이 매우 중요한 문제가 된다. 딥러닝을 통해 모션 캡쳐 데이터를 학습시켜 캐릭터가 선보이는 다양한 움직임을 하나의 컨트롤러로 수행하도록 연구를 진행하고 있으며 군중 시뮬레이션과 같이 다수의 캐릭터의 운동을 표현하는 군중 시뮬레이션도 연구 중이다.
사실적인 인체 모델링
사실적인 시뮬레이션을 추구할수록 시뮬레이션 모델이 보다 세밀한 부분까지 정교하게 사람의 인체를 모델링 해야 한다. 이를 통해 얻은 운동 원리는 컴퓨터 그래픽스 뿐만 아니라 생체역학, 정형외과, 재활의학, 보행분석, 의공학 등의 다양한 분야에 적용할 수 있다. 우리는 실제 인체와 매우 유사하게 근육이 부피를 가지는 전신 근골격 모델을 설계하고 이를 정밀하게 제어할 수 있는 전과정 학습 알고리즘을 개발하였다. 부가적인 장비 없이도 골 윤곽선만으로 방사선 센서의 위치를 측정하는 방법을 도입하여 손쉽게 환자의 3차원 허벅지 뼈 모델을 얻어낼 수 있도록 하는 연구를 수행하여 Medical Engineering & Physics에 게재되고 Aacdpdm에서 기술 시연하였다. 또한 북미 소아정형외과학회에서 기초논문본상을 수상하였다.
다양한 생물체 제어
생명체는 생체 형상과 생존 환경에 따라 고유의 움직임을 가지게 된다. 이를 물리 법칙에 맞게 시뮬레이션하고 제어할 수 있도록 하는 연구를 진행한다. 수중, 비행 생명체를 모델링하고 인공신경망을 이용하여 이들의 동작을 제어하는 기술을 개발한다. 인공 신경망의 확장성을 이용하여 미지의 생명체의 신체 구조 및 제어 가능한 동작 생성 기술을 목표로 한다. 가상의 비행 생명체가 딥러닝 기반 강화학습을 통해 스스로 움직임을 터득하도록 설계하여 컴퓨터 그래픽스 분야에서 최고 권위 학술지로 평가 받는 ‘ACM Transactions on Graphics'에 게재하였다.
성과 공개
준비중입니다.