• >
  • 스타랩과제
  • >    바이오지능 연구실
바이오지능 연구실
일상생활학습 기반의 인지에이전트 SW 개발
서울대학교 / 총괄책임자 : 장병탁 / http://bi.snu.ac.kr/ALTA/
인사말
본 연구실에서는 인간의 뇌에 기반한 계산 지능 기술인 “바이오지능”을 연구한다. 수학적 모델링, 컴퓨터 시뮬레이션, 인지 실험을 통하여 분자, 뉴런에서부터 전체 뇌의 스케일에 이르는 인지 정보 처리 모델을 개발하고 , 이러한 모델들을 이용하여 현실 세계의 인공지능 및 인지-뇌 과학 문제에서 인간 수준의 추론을 수행할 수 있는 기계를 만드는 것을 최종 목표로 한다.
과제 소개
본 과제에서는 실세계 환경에서 끊임없이 지각 행동하고 학습하며 스스로 목표를 설정하여 추론하는 웨어러블센서 기반의 자율지능 인지 에이전트 기술을 개발하고 이를 공개소프트웨어로 구현하여 일반 개발자들이 쉽게 사용할 수 있도록 제공하는 것을 목표로 한다.
개발될 자율지능 인지에이전트 SW 엔진 ALTA (Autonomous Learning and Thinking Agent)는 웨어러블 디바이스, 모바일 기기, 패밀리 로봇, 스마트카, IoT 및 스마트홈 기기 등 미래의 스마트 머신 플랫폼에서 킬러앱이 될 것으로 기대된다. 산업적인 임팩트를 최대화하기 위해서 관련 산업협회와의 연계를 통해 산 업화를 추진하고 다양한 분야에서의 신시장을 개척한다. 또한 전세계 20개국 이상 100개 이상의 연구단위 로 구성된 글로벌 컨소시엄 OSCA (Open Source Cognitive Agent)를 구축하여 이 분야에서 세계적인 de facto 표준이 되도록 추진한다.
연락처
전화 : 02) 880-5890
메일주소 : jkim@bi.snu.ac.kr
찾아오는길
주소: 151-742 서울특별시 관악구 관악로 1 서울대학교 138동 417호
총괄책임자
지도교수 : 장병탁 / 교수, 총괄책임자 / Email : btzhang@bi.snu.ac.kr
장병탁 교수는 서울대학교 컴퓨터공학부 POSCO 석좌교수이며, 인지과학 / 뇌과학 협동과정 겸임교수, 인지로봇 인공지능 연구센터 소장이다. 한국정보과학회 인공지능소사이어티 초대회장, 서울대학교 인지과학 연구소장을 역임한 바 있다. 2003년 MIT 인공지능연구소(CSAIL) 및 뇌인지과학과 초빙교수를 역임하였으며, 2014년부터 2018년 7월까지 한국인지과학산업협회 회장으로서 인지과학의 발전과 산업화에도 기여하였다. 2017년에 정보통신부문 홍조근정훈장을 수여하였다.
구성원
성명 연구 분야 이메일 주소
이충연 Memory and thinking models for cognitive agents that learn everyday life cylee@bi.snu.ac.kr
김지섭 Deep Manifold Learning jkim@bi.snu.ac.kr
이범진 Teaching humanoid robots to generate human-like eye-movements and gestures bjlee@bi.snu.ac.kr
온경운 Deep hypernet models of episodic memory learned from wearable sensor data kwon@bi.snu.ac.kr
허유정 Constructive learning of shared knowledge representations from multimodal sensor streams yjheo@bi.snu.ac.kr
백다솜 In vitro evolutionary learning with molecular hypernetworks dsbaek@bi.snu.ac.kr
최성호 Deep story embedding using hierarchical memory networks shchoi@bi.snu.ac.kr
손선일 Deep generative models for learning sequential data sison@bi.snu.ac.kr
임형석 Deep imitation learning of human behaviors for home robots hslim@bi.snu.ac.kr
정승재 Zero-shot learning for multimodal interaction sjjung@bi.snu.ac.kr
최우석 Latent Embedding Models for story understanding wschoi@bi.snu.ac.kr
연구 목표
본 연구과제의 최종 목표는 변화하는 실세계 환경에서 끊임없이 지각 행동하고 학습하며 스스로 목표를 설정하여 추론하는 웨어러블센서 기반의 자율지능 인지에이전트 기술을 개발하고 이를 공개 소프트웨어로 구현하여 일반 개발자들이 쉽게 사용할 수 있도록 제공하는 것이다. 이를 위하여
1) 현재의 실세계 센서 데이터를 학습하여 일상의 생활패턴 지도를 구축하는 LifeMap 시스템
2) 과거 기억을 회상하고 의미 정 보와 연결하여 스토리를 생성하는 CogMap 시스템
3) 미래의 사건을 예측하고 추론하여 상황기반 추천 서비스를 제공하는 ActMap 시스템
을 개발한다. 최종적으로 LifeMap, CogMap, ActMap이 통합된 인지에이 전트 SW 엔진과 응용개발 플랫폼을 오픈소스 패키지 형태로 개발하여 공개함으로써 산업계 및 교육·연구 기관을 포함한 다양한 분야의 연구개발자들이 편리하게 사용할 수 있는 통합 인공지능 SW 프레임워크를 제공한다.
연구 내용
지각·학습 연구개발(Perception & Learning, PL): 현재의 실세계 센서 데이터를 학습하여 일상의 생활패턴 지도를 구축하는 LifeMap 시스템 개발
웨어러블센서를 이용하여 실세계 데이터를 수집하고, 이를 Somatosensory cortex를 모사한 LifeMap으로 구성한다. 웨어러블센서들로부터 입력되는 정보는 멀티센서의 스트리밍 데이터로, 동일한 내용에 대해 여러 가지 다른 형식으로 표현되는 정보들이 지속적으로 입력되는 데이터이다. 이미 스마트폰과 같이 다양한 센서들이 내장된 모바일 기기부터 스마트홈을 구성하는 각종 IoT 기기들로부터 영상, 음성, 위치좌표, 가속도 등의 형식을 갖춘 멀티센서 데이터가 쉬지 않고 입력되고 있으며, 이들로부터 사용자를 위한 유의미한 정보를 추출해 줄 분석 수단이 요구되고 있다. 본 과제에서는 이를 위해 멀티모달 웨어러블센서로부터 입력되는 데이터를 상위개념의 인지 정보들로 표현하고 이를 자기감독에 의해 학습하는 자기감독 학습 LifeMap 학습엔진을 개발한다. 본 학습 시스템은 데이터로부터 지식을 자동으로 습득하는 시스템이다.
기억·사고 연구개발 (Memory & Thinking, MT): 과거 기억을 회상하고 의미 정보와 연결하여 스토리를 생성하는 CogMap 시스템 개발
인간 뇌의 HIppocampal cortex 구조를 모사하여 순차 사건과 스토리를 저장하는 CogMap을 설계하고, 초고속 Deep cortical graph 자기조직 알고리즘과 CogMap 추론엔진의 오픈소스 API를 개발한다. CogMap 시스템은 자기주도적인 사고와 학습에 기반을 둔 인지 에이전트의 자율지능 능력을 지원하기 위해서 빠르고 유연하며 자기조직이 가능한 메모리 구조를 제공한다. 본 연구과제에서 제안하는 인지기반 자율지능학습 프레임워크는 데이터로부터 학습을 수행하는 일반적인 학습 기법 외에, 내부적인 추론을 수행함으로써 현재까지의 행동습관을 고려하여 사용자가 할 행동을 예측하고 개인화된 최적의 일정을 제시하거나 추천하는 기능을 제공하는 자율사고 연산 시스템을 포함한다.
결정·행동 연구개발(Decision & Action, DA): 미래의 사건을 예측하고 추론하여 상황기반 추천 서비스를 제공하는 ActMap 시스템 개발
웨어러블센서 데이터와 메모리 구조를 바탕으로 미래 상황을 예측하는 ActMap 모델을 Prefrontal-motor cortex 구조를 모사하여 설계하고, 실시간 Sequential Bayesian inference 알고리즘과 오픈소스 ActMap 예측엔진을 개발한다. ActMap 예측엔진의 큰 특징 중 하나는 인지 에이전트가 실제 환경에서 가장 많은 정보를 얻을 수 있는 행동을 스스로 수행하고, 이에 따라 효율적으로 학습 데이터를 획득하여 스스로 학습하도록 하는 것이다. 이러한 능동적인 학습은 데이터만 단순히 관측하는 것이 아니라 목표를 고려하고, 자율사고연산을 통한 내적인 시뮬레이션을 수행하며, 예측과 추론을 통해 얻은 내부 생성 데이터에 기반하여 학습을 수행한다. 본 연구과제에서는 자기의지 기반 예측과 추론을 수행하는 시스템 개발을 위해 체화된 행동(Embodied action) 기작과 지각-학습-행동 인지주기 기반의 계획·행동 모델을 연구하고, 최종적으로 일반 목적의 예측과 추론이 가능한 시스템 프레임워크를 개발한다.
성과
사업
연도
참여학생
수(명)
논문 특허 SW 등록
국내 국외 전체 SCI
논문수(편)
전체 비SCI
논문수(편)
전체
논문수(편)
국내 국외 전체 특허수 전체 등록특허 수 SW 등록 수
SCI 비SCI SCI 비SCI 출원 등록 소계 출원 등록 소계 주관기관 단독
2015 13 0 30 1 6 1 36 37 1 1 2 1 0 1 3 1 2
2016 14 0 31 0 17 0 48 48 3 3 6 0 1 1 7 4 2
2017 11 0 12 0 10 0 22 22 2 0 2 1 0 1 3 0 0
2018 12 0 0 0 0 0 0 0 2 1 3 2 0 2 5 1 0
졸업생 배출
학위별
- 박사 2명, 석사 2명
취업 현황별
- 대기업 2명
- 중소기업 2명
우수 사례
국제 AI Challenge 우수 성적 달성
대회명 주최(학회) 순위 세부내용 일자
Challenge CVPR 2018
(VQA Workshop)
4 시각적 질의응답 문제
visualqa.org/workshop
2016.
06.26
RoboCup
@Home SSPL
RoboCup 2017 1 가정환경에서 다양한 서비스를 수행하는 로봇 개발
robocup2017.org/eng/leagues_home.html
2017.
07.30
MovieQA
Challenge
ICCV 2017 6 영화의 내용에 대한 질의응답 문제
movieqa.cs.toronto.edu/workshops/iccv2017/
2017.
10.13
VQA Challenge 2018 CVPR 2018
(VQA Workshop)
4 시각적 질의응답 문제
단일모델 1위 (앙상블 모델 2위)
- visualqa.org/workshop
2018.
06.18
Visual
Storytelling
Challenge
NAACL-HLT 2018
(Storytelling Workshop)
4 각적 스토리텔링 문제
www.visionandlanguage.net/workshop2018/
2018.
06.16
Youtube-8M Challenge ECCV 2018
(Youtube-8M Workshop)
4 비디오 주제 분류
'In the money' Grade
research.google.com/youtube8m/workshop2018
2018.
09.09
2018년 국가연구개발 우수성과 100선 선정
우수 학회 논문 출판
NIPS 4편, AAAI 1편, ICLR 1편, IJCAI 3편, ECCV 1편 등 국제 우수학회에 논문 출판
공개 SW내용 및 커뮤니티 사이트
번호 저장소 이름 기여자 질적 평가 지수 저장소 주소
Commit Star Fork
1 GLAC Net(GLocal Attention Cascading Network for the Visual Storytelling Challenge) tkim-snu 45 12 5 https://github.com/swstarlab/GLACNet
2 ban-vqa(Bilinear attention networks for visual question answering) jnhwkim, cclauss 20 240 44 https://github.com/swstarlab/ban-vqa
3 pal_pepper(Perception-Action-Learning System for Mobile Social-Service Robots using Deep Learning) soseazi 21 9 5 https://github.com/swstarlab/pal_pepper
4 PororoQA(DeepStory: Video Story QA by Deep Embedded Memory Networks) Kyung-Min 23 10 1 https://github.com/swstarlab/PororoQA
5 DIP (Deep Integrated Perception Framework for Social Service Robots) gliese581gg,jamixlee,외 7명 29 27 4 https://github.com/swstarlab/DIP
6 deeplearning_tutorial(Deep Learning Tutorial) imcomking, nzer0, kimeunsol, moheo 63 66 40 https://github.com/swstarlab/deeplearning_tutorial
7 YOLO_tensorflow(Real-Time Object Detection using TensorFlow) gliese581gg,bryant1410 18 1350 561 https://github.com/swstarlab/YOLO_tensorflow
8 DQN_tensorflow(Deep Q Learning for ATARI using TensorFlow) gliese581gg 5 128 44 https://github.com/swstarlab/DQN_tensorflow
9 MulLowBiVQAHadamard Product for Low-rank Bilinear Pooling) jnhwkim 18 46 16 https://github.com/swstarlab/MulLowBiVQA
10 nips-mrn-vqa(Multimodal Residual Learning for Visual QA) jnhwkim 8 37 6 https://github.com/swstarlab/nips-mrn-vqa
11 robotfollwer(Code for mobile robot to follow(motor control) the object) soseazi 3 0 1 https://github.com/swstarlab/robotfollwer
12 Lifeome(Lifelog Dataset) drafity 40 2 1 https://github.com/swstarlab/Lifeome
13 DynamicMemoryNetworks(Python-Theano implementation of DMN) dshan4585, jamixlee 9 58 20 https://github.com/swstarlab/DynamicMemoryNetworks
14 AndroidSensorCollector(User App for Lifelog Collection) Hanock 5 2 0 https://github.com/swstarlab/AndroidSensorCollector
15 Google-Glass-Life-Recorder(Automatic Background Lifelog Recording Application) imcomking 4 2 1 https://github.com/swstarlab/Google-Glass-Life-Recorder
    주요기여자 22명 311 1,989 749  
홍보
- 동아일보 (2018.04.16), "[기고/장병탁]인공지능, 실패를 두려워하지 말라"
- 국민일보 (2018.06.12), "서울대 장병탁 교수팀 '스토리텔링 인공지능 챌린지' 우승"
- 디지털 타임스 (2018.06.12), "장병탁 교수팀, 미 AI 챌린지 우승"
- 한국경제 (2018.06.13), "서울대 장병탁 교수팀, AI 국제대회서 우승"
- 경항신문 (2018,06.25), "AI 대회서 페이스북팀에 0.72점차 준우승"
- 조선닷컴 (2018.06.26), "장병탁 서울대 교수팀, AI 질의응답 대회 준우승"
- 이데일리 (2018.09.07), "장병탁 서울대 교수 '뽀로로 만화로 머신러닝 고도화'"등 37건 이상의 국내외 매체를 통한 연구 성과 홍보 수행