• >
  • 스타랩과제
  • >    바이오지능 연구실
바이오지능 연구실
바이오지능 연구실
서울대학교 / 총괄책임자 : 장병탁 / http://bi.snu.ac.kr/swstarlab
과제 소개
본 연구과제의 최종 목표는 변화하는 실세계 환경에서 끊임없이 지각 행동하고 학습하며 스스로 목표를 설정하여 추론하는 웨어러블센서 기반의 자율지능 인지에이전트 기술을 개발하고 이를 공개 소프트웨어로 구현하여 일반 개발자들이 쉽게 사용할 수 있도록 제공하는 것이다. 이를 위하여 1) 현재의 실세계 센서 데이터를 학습하여 일상의 생활패턴 지도를 구축하는 LifeMap 시스템, 2) 과거 기억을 회상하고 의미 정 보와 연결하여 스토리를 생성하는 CogMap 시스템, 3) 미래의 사건을 예측하고 추론하여 상황기반 추천 서비스를 제공하는 ActMap 시스템을 개발한다. 최종적으로 LifeMap, CogMap, ActMap이 통합된 인지에이 전트 SW 엔진과 응용개발 플랫폼을 오픈소스 패키지 형태로 개발하여 공개함으로써 산업계 및 교육·연구 기관을 포함한 다양한 분야의 연구개발자들이 편리하게 사용할 수 있는 통합 인공지능 SW 프레임워크를 제공한다.
개발될 자율지능 인지에이전트 SW 엔진 ALTA (Autonomous Learning and Thinking Agent)는 웨어러블 디바이스, 모바일 기기, 패밀리 로봇, 스마트카, IoT 및 스마트홈 기기 등 미래의 스마트 머신 플랫폼에서 킬러앱이 될 것으로 기대된다. 산업적인 임팩트를 최대화하기 위해서 관련 산업협회와의 연계를 통해 산 업화를 추진하고 다양한 분야에서의 신시장을 개척한다. 또한 전세계 20개국 이상 100개 이상의 연구단위 로 구성된 글로벌 컨소시엄 OSCA (Open Source Cognitive Agent)를 구축하여 이 분야에서 세계적인 de facto 표준이 되도록 추진한다.
지각·학습 연구개발(Perception & Learning, PL)
현재의 실세계 센서 데이터를 학습하여 일상의 생활패턴 지도를 구축하는 LifeMap 시스템 개발
웨어러블센서를 이용하여 실세계 데이터를 수집하고, 이를 Somatosensory cortex를 모사한 LifeMap으로 구성한다. 웨어러블센서들로부터 입력되는 정보는 멀티센서의 스트리밍 데이터로, 동일한 내용에 대해 여러 가지 다른 형식으로 표현되는 정보들이 지속적으로 입력되는 데이터이다. 이미 스마트폰과 같이 다양한 센서들이 내장된 모바일 기기부터 스마트홈을 구성하는 각종 IoT 기기들로부터 영상, 음성, 위치좌표, 가속도 등의 형식을 갖춘 멀티센서 데이터가 쉬지 않고 입력되고 있으며, 이들로부터 사용자를 위한 유의미한 정보를 추출해 줄 분석 수단이 요구되고 있다. 본 과제에서는 이를 위해 멀티모달 웨어러블센서로부터 입력되는 데이터를 상위개념의 인지 정보들로 표현하고 이를 자기감독에 의해 학습하는 자기감독 학습 LifeMap 학습엔진을 개발한다. 본 학습 시스템은 데이터로부터 지식을 자동으로 습득하는 시스템이다.
기억·사고 연구개발 (Memory & Thinking, MT)
과거 기억을 회상하고 의미 정보와 연결하여 스토리를 생성하는 CogMap 시스템 개발
인간 뇌의 HIppocampal cortex 구조를 모사하여 순차 사건과 스토리를 저장하는 CogMap을 설계하고, 초고속 Deep cortical graph 자기조직 알고리즘과 CogMap 추론엔진의 오픈소스 API를 개발한다. CogMap 시스템은 자기주도적인 사고와 학습에 기반을 둔 인지 에이전트의 자율지능 능력을 지원하기 위해서 빠르고 유연하며 자기조직이 가능한 메모리 구조를 제공한다. 본 연구과제에서 제안하는 인지기반 자율지능학습 프레임워크는 데이터로부터 학습을 수행하는 일반적인 학습 기법 외에, 내부적인 추론을 수행함으로써 현재까지의 행동습관을 고려하여 사용자가 할 행동을 예측하고 개인화된 최적의 일정을 제시하거나 추천하는 기능을 제공하는 자율사고 연산 시스템을 포함한다.
결정·행동 연구개발(Decision & Action, DA)
미래의 사건을 예측하고 추론하여 상황기반 추천 서비스를 제공하는 ActMap 시스템 개발
웨어러블센서 데이터와 메모리 구조를 바탕으로 미래 상황을 예측하는 ActMap 모델을 Prefrontal-motor cortex 구조를 모사하여 설계하고, 실시간 Sequential Bayesian inference 알고리즘과 오픈소스 ActMap 예측엔진을 개발한다. ActMap 예측엔진의 큰 특징 중 하나는 인지 에이전트가 실제 환경에서 가장 많은 정보를 얻을 수 있는 행동을 스스로 수행하고, 이에 따라 효율적으로 학습 데이터를 획득하여 스스로 학습하도록 하는 것이다. 이러한 능동적인 학습은 데이터만 단순히 관측하는 것이 아니라 목표를 고려하고, 자율사고연산을 통한 내적인 시뮬레이션을 수행하며, 예측과 추론을 통해 얻은 내부 생성 데이터에 기반하여 학습을 수행한다. 본 연구과제에서는 자기의지 기반 예측과 추론을 수행하는 시스템 개발을 위해 체화된 행동(Embodied action) 기작과 지각-학습-행동 인지주기 기반의 계획·행동 모델을 연구하고, 최종적으로 일반 목적의 예측과 추론이 가능한 시스템 프레임워크를 개발한다.
연락처
전화 : 02) 880-5890
메일주소 : jkim@bi.snu.ac.kr
찾아오는길
주소: 151-742 서울특별시 관악구 관악로 1 서울대학교 138동 417호
총괄책임자
지도교수 : 장병탁 / 교수, 총괄책임자 / Email : btzhang@bi.snu.ac.kr
장병탁 교수는 서울대학교 컴퓨터공학부 POSCO 석좌교수이며, 인지과학 / 뇌과학 협동과정 겸임교수, 인지로봇 인공지능 연구센터 소장이다. 한국정보과학회 인공지능소사이어티 초대회장, 서울대학교 인지과학 연구소장을 역임한 바 있다. 2003년 MIT 인공지능연구소(CSAIL) 및 뇌인지과학과 초빙교수를 역임하였으며, 2014년부터 2018년 7월까지 한국인지과학산업협회 회장으로서 인지과학의 발전과 산업화에도 기여하였다. 2017년에 정보통신부문 홍조근정훈장을 수여하였다.
구성원
성명 연구 분야 이메일 주소
이충연 Memory and thinking models for cognitive agents that learn everyday life cylee@bi.snu.ac.kr
김지섭 Deep Manifold Learning jkim@bi.snu.ac.kr
이범진 Teaching humanoid robots to generate human-like eye-movements and gestures bjlee@bi.snu.ac.kr
온경운 Deep hypernet models of episodic memory learned from wearable sensor data kwon@bi.snu.ac.kr
백다솜 In vitro evolutionary learning with molecular hypernetworks dsbaek@bi.snu.ac.kr
전재현 Semantic learning from visual and language data jhjun@bi.snu.ac.kr
최성호 Deep story embedding using hierarchical memory networks shchoi@bi.snu.ac.kr
손선일 Deep generative models for learning sequential data sison@bi.snu.ac.kr
임형석 Deep imitation learning of human behaviors for home robots hslim@bi.snu.ac.kr
정승재 Zero-shot learning for multimodal interaction sjjung@bi.snu.ac.kr
연구 목표 및 내용
1차년도: 웨어러블 센서 데이터 수집 및 LifeMap, CogMap, ActMap 기능 설계
웨어러블센서로부터 실세계 데이터를 수집, 실시간 LifeMap을 구성하고, 순차사건과 스토리를 저장하는 CogMap과, 센서 및 기억을 통해 미래를 예측하는 ActMap 모델을 설계한다. 이를 위해 Deep network을 이용한 실시간 웨어러블 센서 데이터 패턴 분석 기술을 개발하여 인식된 행동 패턴을 LifeMap으로 시각화하는 시스템을 구현하고, Deep recurrent neural network을 이용한 스토리 학습 모델을 개발, 대용량 비디오 데이터를 이용하여 이를 실험 및 평가한다. 또한 POMDP 기반 순차적 의사결정 및 행동 예측 프레임워크를 설계한 후 지각행동 기반 웨어러블기기 사용자의 행동예측을 실험한다.
2차년도: 뇌인지 모델에 기반한 LifeMap, CogMap, ActMap 상세 구조 설계 및 평가
Somatosensory cortex를 모사하여 LifeMap 구조를 설계하기 위해 Topology-preserving self-organized map 기반의 LifeMap 구축 방법을 연구하고 장기간 수집된 웨어러블 센서 데이터를 이용하여 실험 및 평가한다. Hippocampal cortex를 모사하여 CogMap 구조를 설계하기 위해 Hierarchical modular cortical network 모델 기반의 Episodic memory 처리과정을 연구하고, 이를 계층적 개념 학습 및 멀티 스케일 스토리 생성 실험에 활용한다. Prefrontal-motor cortex를 모사한 ActMap 구조를 설계하기 위해 인지신경과학 모델 기반의 장기, 단기 목표 설정 기작에 대해 연구한 후 목표 함수를 설계하여 일정 App과 연결된 웨어러블 기기 사용자의 목표 변경을 예측하는 실험을 수행한다.
3차년도: 효율적인 LifeMap, CogMap, ActMap 구현 알고리즘 개발 및 API 설계
무감독학습 Graph grammar induction 기술, 초고속 Deep cortical graph 자기조직 알고리즘, 실시간 Sequential Bayesian inference 기법을 개발하고 이를 통합 구현할 API를 설계한다. 이를 위해 Multigraph SLM 기술을 이용한 일상생활 실시간 행동 지도 작성 및 위치 파악 기술과 다차원 멀티스케일 LifeMap 시각화 도구를 개발하고, 고차 순환 신경망들의 하이퍼네트워크로 구성된 복잡적응그래프 최적화 기술과 실시간 비디오의 개념적 스토리 분석 및 재구성 기술을 구현한다. 또한 Bayesian 및 정보이론적 Long-lasting mission 자율의사결정 알고리즘과 예측 행동 시각화 기반의 ActMap API를 개발한다.
4차년도: 통합 자율지능 인지에이전트 SW 엔진 라이브러리 개발 및 공개화
인지에이전트 SW 엔진 라이브러리 구축을 위해 LifeMap 학습엔진, CogMap 추론엔진, ActMap 예측엔진의 오픈소스를 개발한다. LifeMap 학습엔진은 뇌구조 모사 실시간 자기조직 신경망을 기반으로 일상생활 행동 패턴을 학습 및 분석한다. CogMap 추론엔진은 뇌구조 모사 일화기억 및 의미기억 시스템을 통해 사람과 같이 회상이나 상상을 수행하며, 심층 사고 능력을 갖는 인지구조를 가진다. ActMap 예측엔진은 변화하는 환경에서 빠르고 유연하며 안정적인 의사결정을 하는 행동 체계를 가지며, 응용 도메인과 연계되어 목표기반의 행동 최적화 서비스를 제공한다. 최종적으로 협업이 가능한 프레임워크를 구축하고 사용자 매뉴얼을 작성한다.
성과
사업
연도
참여학생
수(명)
논문 특허 SW 등록
국내 국외 전체 SCI
논문수(편)
전체 비SCI
논문수(편)
전체
논문수(편)
국내 국외 전체 특허수 전체 등록특허 수 SW 등록 수
SCI 비SCI SCI 비SCI 출원 등록 소계 출원 등록 소계 주관기관 단독
2015 13 0 30 1 6 1 36 37 1 1 2 1 0 1 3 1 2
2016 14 0 31 0 17 0 48 48 3 3 6 0 1 1 7 4 2
2017 11 0 12 0 10 0 22 22 2 0 2 1 0 1 3 0 0
2018 12 0 0 0 0 0 0 0 2 0 2 1 0 1 3 0 0
졸업생 배출
학위별
- 박사 2명, 석사 2명
취업 현황별
- 박사 2명, 석사 2명
- 중소기업 2명
우수 사례
본 과제에서 배출한 박사 인력이 현재 연구실과 밀접하게 공동 연구 및 개발을 진행중인 ㈜ 써로마인드 로보틱스로 취업한 바가 있으며, 이를 통해 연구실에서 출판한 논문과 관련된 공개 SW가 효과적으로 기업에서 활용되고 있음.
공개 SW내용 및 커뮤니티 사이트
번호 저장소 이름 기여자 질적 평가 지수 저장소 주소
Commit Star Fork
1 DIP (Deep Integrated Perception Framework for Social Service Robots) gliese581gg, jamixlee, 외 7명 29 20 1 https://github.com/swstarlab/DIP
2 deeplearning_tutorial (Deep Learning Tutorial) imcomking, nzer0, kimeunsol, moheo 63 103 41 https://github.com/swstarlab/deeplearning_tutorial
3 YOLO_tensorflow (Real-Time Object Detection using TensorFlow) gliese581gg 16 723 262 https://github.com/swstarlab/YOLO_tensorflow
4 DQN_tensorflow (Deep Q Learning for ATARI using TensorFlow) gliese581gg 5 103 40 https://github.com/swstarlab/DQN_tensorflow
5 MulLowBiVQA Hadamard Product for Low-rank Bilinear Pooling) jnhwkim 15 37 14 https://github.com/swstarlab/MulLowBiVQA
6 nips-mrn-vqa (Multimodal Residual Learning for Visual QA) jnhwkim 8 34 6 https://github.com/swstarlab/nips-mrn-vqa
7 Lifeome (Lifelog Dataset) drafity 40 2 1 https://github.com/swstarlab/Lifeome
8 DynamicMemoryNetworks (Python-Theano implementation of DMN) dshan4585, jamixlee 9 49 18 https://github.com/swstarlab/DynamicMemoryNetworks
9 AndroidSensorCollector (User App for Lifelog Collection) Hanock 5 2 0 https://github.com/swstarlab/AndroidSensorCollector
10 Google-Glass-Life-Recorder (Automatic Background Lifelog Recording Application) imcomking 4 2 1 https://github.com/swstarlab/Google-Glass-Life-Recorder
합계 주요기여자 16명 194 1,075 384
홍보
사업연도 홍보명 주요내용 홍보매체
2016 국제로봇산업대전 참여 본 연구팀에서는 OSCA 참여사인 ‘써로마인드 로보틱스(Surromind Robotics)’ 부스에 공동 참여하여 1~2차년도 연구 결과를 발표하고, ALTA 오픈소스 생태계 조성을 위한 프로젝트 홍보를 수행하였다. 행사
2016 지각 행동 인지시스템 국제 심포지엄(PACS-2016) 개최 본 심포지엄에서는 인지과학, 과학철학, 인공지능, 로보틱스 등 지능정보 기술 분야를 리딩하는 세계적 석학들과 130명의 국내 연구진이 참석하였고, 본 연구팀에서는 당해연도 연구 수행 내용을 총 12개 포스터로 제출 및 발표하였다. 행사
2017 지각 행동 인지시스템 국제 심포지엄(PACS-2017) 개최 본 심포지엄에서는 본 과제의 핵심 주제이기도 한 주변 환경을 지각하고 행동하며 추론하고 학습하는 '체화된 인지 시스템(Embodied cognitive system)' 패러다임의 과학적 기반과 공학적 구현, 그리고 산업적 응용 방안을 중점적으로 논의하였다. 본 심포지엄에는 인지과학, 과학철학, 인공지능, 로보틱스 등 지능정보 기술 분야를 리딩하는 세계적 석학들과 120명의 국내 연구진이 참석하였다. 행사
2017 2017 국제 로보컵 대회' 우승 서울대학교 컴퓨터공학부 장병탁 교수 연구팀이 일본 나고야 국제전시장에서 열린 '2017 국제 로보컵 대회'에서 소셜 홈로봇 부문 8개 시나리오 과제를 모두 최고 점수로 통과해 종합 1위를 차지했다. 소셜 홈로봇 부문 경기는 로봇이 칵테일 파티, 가정환경 심부름 등의 상황에서 임무를 수행하는 능력을 겨룬다. 신문 ( 중앙일보, 연합뉴스, 파이낸셜 뉴스 등)
2017 심부름 척척, 아이와 말하는 로봇 ‘오페어 장 교수는 “최근 유행하는 인공지능 로봇 중 챗봇은 텍스트 기반, 아마존에서 개발한 에코는 음성 기반으로 사람과 대화하지만 오페어는 한 단계 더 나아가 시각(카메라)으로 들어온 정보를 학습해 이를 기반으로 사람과 대화할 수 있다”고 설명했다. “예를 들면 오페어는 아이와 함께 만화영화인 ‘뽀로로’를 보고 이 아이와 뽀로로의 내용에 대해 이야기를 주고받을 수 있다”고 덧붙였다. 신문 ( 서울신문)
2017 가전에 AI 접목땐 판세 흔들수도, 엄마 대신 아이 돌보는 로봇 개발중 장 교수 연구팀은 ‘워킹맘’을 대신해 유치원·초등학생 아이를 돌보는 육아로봇을 개발 중이다. 단순히 아이를 잘 돌보는 수준을 넘어서 아이와 일상적인 대화를 주고받고 공부도 직접 가르치는 것이 목표다. AI 기술의 미래는 의사가 될 수 있느냐가 아니라 엄마가 될 수 있느냐에서 판가름 난다는 것이다. 신문 (동아일보)
2017 머신러닝 대부가 본 우리 AI 수준은 지금은 다 머신러닝으로 인공지능을 개발한다. 지금 컴퓨터는 아직 덤(dumb, 사람의 눈으로 보면 멍청하다는 의미)하다. 정말 똘똘한 기계, 사람 닮은 기계를 만들고 싶다. 계산만 잘하는 기계가 아니라 사람 같은 기계를 만들고 싶다. 어떻게 할까 고민하다 뇌과학과 인지과학에 관심을 갖게 됐다 신문 ( ZDNet Korea)
2017 AI, 일상을 파고들다 한국인터넷기업협회가 주최한 2017 굿인터넷클럽 5차 행사에서는 '인공지능, 일상을 파고들다'라는 주제로 서울대 컴퓨터공학부 장병탁 교수, 야놀자 전략기술연구소 김진중 소장, 헬프미 박효연 대표, 스켈터랩스 조원규 대표가 자리했다.이날 장 교수는 "AI 연구는 오랫동안 이뤄졌지만 최근에야 일상생활에 접목되면서 산업화 단계에 들어섰다"고 말했다. 이어서 그는 "딥러닝은 머신러닝의 한 분야로서 의미가 있지만 지금은 '롱러닝(long learning)'이 더 중요한 시기가 됐다"고 설명했다. 행사
2017 장병탁 서울대 교수, 인공지능 기술 통한 산업구조 변화 전망 장병탁 서울대학교 컴퓨터공학과 교수가 인공지능 기술의 현재와 미래를 소개하고 인공지능 기술을 통한 산업구조의 변화를 전망했다.
장 교수는 “인공지능은 4차 산업혁명을 이끌 핵심 기술이자, 사물인터넷, 빅데이터와 결합해 기업의 디지털 트랜스포메이션을 가속화할 것”이라며 “물류, 제조, 의료, 교육, 서비스, 쇼핑 등 모든 분야에서 신산업 창출을 위한 혁신 전략이 필요하다”고 강조했다.
신문 ( 천지일보)