삼성SDS AI 자연어 모델, 한국어 기계독해평가에서 1위

사람의 복잡한 언어를 이해하고 대답할 수 있는 인공지능(AI) 개발이 한창인 가운데, 한국어 기계독해 경진대회에서 삼성SDS가 개발한 AI 자연어 이해 학습모델이 1위를 차지했다.
코쿼드(KorQuAD)2.0 깃허브 웹사이트(korquad.github.io)의 기계독해 평가에 따르면, 삼성SDS는 F1 점수 86.56, EM 점수 73.51점을 기록해 참가팀 중 처음으로 '일반인 평균(Human performance)'을 능가하면서 1위에 올랐다. 코쿼드란 인공지능(AI) 스피커와 챗봇 등을 개발하기 위한 자연어 이해(NLU) 학습용 한국어 표준데이터 셋이다.
코쿼드 2.0은 작년 9월 LG CNS가 제작해 외부에 개방한 학습평가 도구다. 표제어와 설명을 담은 '정보' 4만건과 이를 기반으로 만들어진 질의응답 10만건으로 이루어져 있다. AI가 한국어로 된 데이터를 학습·이해하고 장문과 단문의 질문에 대답하는 능력을 평가하는데, 코쿼드2.0 독해 문제를 일반인이 풀었을 때 F1 점수 83.86점, EM 점수 68.82점을 기록한 것으로 알려졌다.
코쿼드2.0 성능평가는 데이터셋에서 추출한 내용을 질문으로 제시하고 개발된 학습모델이 위키백과 페이지 전체에서 그에 맞는 답을 찾아내는 방식으로 이뤄진다. 성능평가는 정밀도와 재현율을 종합적으로 고려한 수치인 F1 점수, 실제 정답과 정확하게 일치하는 비율을 의미하는 EM(Exact match) 점수 두 가지로 평가된다.
[신찬옥 기자]