영화 보며 즐기는 인공지능 개발

"드래곤이 성을 지나 날아가고 있습니다."
김건희 서울대 컴퓨터공학부 교수가 개발한 개발한 '영화 보는 인공지능'이 2017년 국제컴퓨터비전학회(ICCV) 영화 질의응답 인공지능 챌린지에서 우승을 차지했다.
서울대 공대는 김 교수 연구진이 10월 23일(현지시간) 이탈리아 베니스에서 개최된 ICCV 영화 인공지능 챌린지 경연대회(LSMDC·The Large Scale Movie Description Challenge)에서 우승 했다고 31일 밝혔다.
LSMDC는 인공지능이 10초 내외의 영화영상을 보고 자연어로 영상 내용을 설명하거나 자연어 질문이 주어졌을 때 스스로 적절한 응답을 생성하는 능력을 평가하는 대회다.
예를 들어 영화 해리포터의 한 장면을 보여준 뒤 인공지능에게 "현재 보고 있는 영화의 장면을 설명하라"는 주문을 내린다. 수많은 영화를 보며 학습한 인공지능은 주변 도움 없이 스스로 10초의 장면을 설명한다. 김 교수는 "수많은 영화를 통해 학습한 알고리즘은 새로운 영화를 보여줬을 때도 알아서 묘사할 수 있다"고 설명했다. 김 교수와 함께 유영재씨(박사과정)와 김종석씨(자유전공학부)가 팀을 이룬 연구진은 영화 주석 달기와 검색, 영화 선다형 테스트, 영화 빈칸 채우기 등 3종목에서 우승했으며 영화 서술 분야에서는 4위를 차지했다. 김 교수 연구팀은 지난해에도 이 대회에 참가해 올해와 동일한 3종목에서 우승했으며, 영화 질의 응답 기계학습 알고리즘에 대해 세계적인 기술력을 장기간 유지하고 있다.

연구진이 개발한 인공지능은 영화에 대한 질문에 답하는 '무비 QA 대회에서도 2위를 차지했다. 인공지능이 영화를 처음부터 끝까지 감상한 뒤 질문에 답하는 방식이다. 가령 포레스트 검프 영화를 본 인공지능은 "포레스트 검프는 왜 잘 달리게 되었습니까"라는 질문에 스스로 답할 수 있다. 김 교수는 "영화 전체에 대한 이해를 필요로 하는 도전적인 과제"라며 "중국 텐진대와 1% 미만의 근소한 차이로 2위를 기록했다"고 말했다. 본 대회에서 사용된 딥러닝 알고리즘은 2017 ICCV에서 논문으로 발표됐다.
서울대 공대는 "두 대회는 인공지능이 영상을 스스로 분석하여 사람이 이해할 수 있는 자연어로 설명해 주거나 사람이 하는 질문에 대해 스스로 답을 구할 수 있는 능력을 측정하는 대회로 시각 인식이나 자연어 처리에 대해 매우 높은 수준의 인공지능을 필요로 한다"며 "이 기술은 시각장애인에게 영화를 자동으로 설명해 주는 서비스나 영상에 대한 자연어 검색, 영화에 대한 인공 지능과의 토론 등에 활용될 수 있다"고 설명했다.
[원호섭 기자]