"21세기에 가장 섹시한 직업은 수학자!"

2016년 8월. 미국 백악관 국가안전보장회의(NSC)와 미국 정부기관인 NIST(국가 기술표준원)은 약 1000글자 짜리의 짧은 공고문을 하나 낸다.
"현재의 알고리즘은 대규모 공격을 가할 수 있는 양자컴퓨터 앞에 속수무책이다. 이 공고문을 통해 우리는 미국 사회의 학계, 암호산업 종사자, 자발적 참여자 등에게 양자컴퓨터를 방어할 수 있는 암호체계 알고리즘을 선정하는 기준에 대한 필요조건, 평가방식, 평가과정 등에 대한 의견을 구하고자 한다." 그리고, 전 세계 암호학자들의 달리기는 이 때부터 시작됐다.
이를 시작으로 미국 정부는 양자컴퓨터를 방어하기 위한 암호체계를 만들기 위한 작업을 진행했다. 현재 전 세계적으로 'RSA'라고 하는 암호체계(1977년 론 리베스트, 아디 샤미르, 레오나드 애들만 등 세 사람의 교수들이 만든 것 - 세 교수들의 이름 머리글자를 따서 나온 이름이 RSA. 컴퓨터가 대규모 숫자의 소인수분해를 계산하는데 굉장히 많은 시간이 걸린다는 사실에 기반한 알고리즘)와 'ECC'라고 하는 암호체계(1985년 RSA의 한계를 극복하기 위해 나온 암호체계 - 타원곡선을 활용한 알고리즘 - 캐나다 회사 '서티컴(Certicom)'이 지적재산권을 갖고 있음)가 가장 많이 사용되고 있는데, 이들은 모두 양자컴퓨터가 쉽게 해체할 수 있는 취약성을 갖고 있다. 미국 백악관은 이 문제를 직시하고 완전히 새로운 기준을 만들겠다는 시도를 6년 전부터 시작했던 것이다.
수학계에서는 다수의 연구자들이 양자컴퓨터를 방어할 수 있는 암호체계(Post-Quantum Cryptography)와 그 기준을 마련하기 위한 다양한 연구들을 진행했다. 그리고 2016년 8월로부터 6년 가량이 지난 올해 5월. 미국의 바이든 대통령은 '양자컴퓨터를 막아낼 수 있는 국방부 암호화 체계를 만들라'는 지시를 직접 내린다. 바이든 대통령이 직접 서명한 명령서는 이렇게 써 있다. "양자컴퓨터는 미국에게 매우 중대한 경제적, 안보적 위협을 던지고 있다. 미국 정부는 양자기술 연구 프로그램을 가동해 근본적인 과학적 연구들을 장려해야 한다. 또한 미국은 양자 내성 암호기술을 포함해 관련 기술들을 익히고 있는 차세대 과학자와 엔지니어들을 양성하는 방법을 찾아야 한다."
그로부터 두달 뒤인 7월 5일, 미국 국가기술표준원은 양자컴퓨터의 공격을 막아낼 수 있는 암호체계로 네 가지 기준을 선정했다. 과거 인터넷 세상을 안전하게 지켰던 수학적 알고리즘(RSA, ECC)이 양자컴퓨터로 인해 수명을 다할 위기에 처하자, 그를 대체할 네 명의 슈퍼히어로 후보들이 탄생한 것이다. 그리고 그 네 주인공 중 두 가지가 프랑스 출신의 한 컴퓨터 과학자에 의해 제안됐다. 이 과학자의 이름은 데미안 스텔레(사진). 프랑스 리옹 고등사범학교 교수다. 참고로 프랑스의 교육체계 상 고등사범학교는 엘리트 중에서도 엘리트들이 가는 학교라 할 수 있다. 일반적인 바깔로레아 시험 이후 2년간 준비과정을 통해 또 한번의 테스트를 봐야만 들어갈 수 있다. 스텔레 교수와의 인터뷰는 크립토랩 천정희 대표 (서울대학교 수리과학부 교수)의 도움으로 이뤄졌다.

◆ 완전히 새로운 암호체계의 시작

스텔레 교수는 "백악관은 현재 마련된 암호체계들을 양자컴퓨터 내성을 갖고 있는 기준들로 바꾸는 작업을 시작할 것으로 생각된다"며 "오늘날의 암호체계는 빠르게 양자내성을 지닌 암호체계로 바뀌어 나갈 것이다"고 말했다. 스텔레 교수는 "지금의 상황은 RSA를 ECC로 바꾼 1999년대 중반의 결정과 유사하다"고 말했다. 미국 국가기술표준원은 1999년 RSA를 대체하기 위해 15개의 ECC 활용 타원곡선을 선정했다고 밝혔다. 미국 정부의 이런 결정 이후 2000년대를 지나며 RSA는 ECC로 대체가 되기 시작했고, 오늘날은 비트코인 암호체계를 비롯해 사물인터넷 등과 같은 영역에서는 ECC가 더 각광받고 있다.
스텔레 교수와 함께 하는 연구진들은 양자내성을 갖는 암호체계 2가지(CRYSTALS-KYBER, CRYSTALS-Dilithium)를 제안했다. 크리스탈 결정처럼 격자(Lattice)무늬를 통해 구성되는 수백~수천 단위의 차원 속에서 하나의 지점으로부터 가장 가까운 지점을 찾아내는 계산문제를 컴퓨터로 풀어야만 암호가 깨지도록 하는 방식이다. 스텔레 교수의 동료들이 제안한 2가지 암호체계는 모두 원리는 위와 같지만 'CRYSTALS-KYBER'는 비밀키나 메세지를 암호화하는 기법이며, 'CRYSTALS-Dilithium'는 디지털 서명을 만드는 방법이다. 모두 기존의 반도체 컴퓨터가 해내지 못하는 엄청난 연산들을 처리해 내는 '슈퍼맨'이라고 불리는 양자컴퓨터로도 풀기 어려운 수학적 문제들을 제시하고, 이를 풀기 위해서는 암호키를 갖고 있어야만 하도록 설계가 됐다. NIST는 스텔레 교수의 동료들이 고안한 방법에 대해 "강력한 안전성과 함께, 뛰어난 성능을 인정받았다"며 "또한 오늘날 사용되는 대부분의 앱 들에서 작동이 될 것으로 우리는 전망하고 있다"고 밝혔다. 특히 NIST는 암호키를 생성하는 영역에서 양자내성 암호체계로 모두 4개의 후보들을 검토하고 있었는데, 오로지 스텔레 교수와 동료들이 제안한 CRYSTALS-KYBER 만을 선택했다. 스텔레 교수는 "(좋은 의미로) 꽤나 놀라웠다"고 말했다. 탈락한 나머지 3개의 암호체계 중 2개는 스텔레 교수 등이 제안한 Kyber와 성능 용량 면에서 큰 차이가 없었기에 더욱 놀라움은 컸다고 한다.

◆ 글로벌 기업들, 양자암호체계 테스트 시작

격자 무늬를 활용하는 암호화 체계를 만드는 회사들은 전 세계적으로 많다. 격자를 활용한 동형암호 개발회사 '자마'(ZAMA), 스위스-샌프란시스코 기반의 암호체계 재단 '디피니티', MIT 교수 등이 주력이 되어 만든 '알고랜드' 등이다. 특히 '알고랜드'같은 경우 2021년 1월 세계적 격자 기반 암호체계 연구자인 크리스 페이커트 MIT교수를 영입했고, '디피니티'도 IBM 출신의 암호학자인 얀 카메니쉬를 2018년 영입하는 등 이 분야에 대한 활발한 인재전쟁을 벌이고 있는 중이다. 한국에서도 격자를 활용한 스타트업 '크립토랩'이 이러한 글로벌경쟁에 뛰어들고 있다. 미국 역시 양자내성 암호체계로 올해 7월에 선택한 4개의 기준 만을 고집하고 있지는 않다. 완전히 별개의 양자내성 암호 키 프로젝트를 최근 다시 공모하겠다고 선언했기 때문이다. 양자컴퓨터를 방어할 수 있는 기준들을 여러가지 모집해서 문제가 발견될 경우 계속 바꿔나가겠다는 것으로 보인다고 스텔레 교수는 전했다.
스텔레 교수는 자신의 동료들이 제안한 암호체계의 사용범위는 비단 양자컴퓨터 방어용 목적이 아니라, 오늘날 사용되는 암호체계들을 대부분 대체할 수 있다고 말했다. 특히 아직은 광범위하게 사용되지 않고 있는 양자컴퓨터가 만일 블록체인 등과 같은 보안기술들을 뚫는 날이 온다면, 양자내성 암호체계들의 쓰임새가 더 확대될 것이라고 말했다. https로 시작되는 웹 상의 보안시스템에서부터 각종 어플리케이션 등에 활용될 수 있다는 것이다. 특히 양자컴퓨터를 악용한 특정 집단이 기존의 보안시스템을 쉽게 뚫을 경우 큰 문제가 될 수 있는 영역은 '국가안보'라 할 수 있다. 국방, 항공, 우주, 에너지 등과 같은 민감한 영역에 현재 탑재돼 있는 ECC 암호체계는 양자컴퓨터를 활용하게 될 경우 쉽게 뚫릴 수 있다. 스텔레 교수는 "이미 이를 인식하고 있는 기업들은 양자내성암호체계들을 시범적으로 도입하고 있다"고 말했다. 위성데이터 보안이나 항공기 보안 등을 위한 시범적 도입이 이미 활발하다는 것. 일례로 스텔레 교수는 '에어버스'가 양자내성 전자서명 체계에 큰 관심을 보이고 있다고 말했다. 그는 "대규모로 양자내성 암호체계가 적용되는 것은 아마도 향후 5년 이내가 되지 않을까 예상한다"고 말했다.

◆ 유럽 일본 등의 활발한 암호체계 연구

미국의 움직임은 하나의 사례에 불과하다. 유럽연합과 영국, 그리고 일본 러시아 중국 등 전 세계적으로 양자컴퓨터라는 새로운 기술은 안보의 위협요인으로 다가오고 있다. 덕분에 전 세계 수학자와 암호학자들이 양자컴퓨터를 방어할 수 있는 암호체계를 만드는 본격적 경쟁에 돌입한 상황이다. 스텔레 교수는 수학계 쪽의 뛰어난 연구자들이 기업들로 이전되면서 학계에는 가르칠 사람이 부족한 현상이 벌어지고, 그 결과 암호학자 교육이 부족해 지는 현상이 벌어지고 있다고 전했다. 암호학자 확보 전쟁은 당분간 격화될 수밖에 없다는 것이다. 가까운 예로는 일본의 통신회사 NTT가 미국에 리서치센터를 설립하면서 암호학자들을 급격하게 빨아들이며 연구를 강화하고 있다. 구글 모회사인 알파벳이 투자한 '샌드박스AQ'라는 회사도 최근 뛰어난 수학자들을 데려갔다. 이밖에도 자마, 디피티니, 알고랜드 등과 같은 스타트업들도 학계의 뛰어난 인재들을 영입하기 위해 경쟁을 벌이고 있다. 스텔레 교수는 "많은 기업들이 블록체인, 양자내성 기술 등을 활용한 공공기관 및 군사적 활용사례 들을 연구하고 있다"며 "이 때문에 자금을 다수 확보하고 있는 NTT 같은 기업들은 미국에 연구소를 내는 등 암호학자들을 빨아들이는 일을 가속화하고 있다"고 말했다. 게다가 중요한 사실은 이들이 모두 근본적인 수학적 연구를 지원하고 있다는 사실이라고 스텔레 교수와 천정희 교수는 말했다. 당장 눈 앞의 사업기회만을 노리고 얕게 접근하는 것이 아니라 판을 바꿔버릴 수 있는 근본적 방식에 대한 고민들을 하고 있다는 얘기다.
스텔레 교수는 이러한 암호학 인재전쟁의 승자는 예전엔 미국이었지만, 지금은 어디서나 일할 수 있는 환경이 됐기 때문에 앞으로도 반드시 미국이 앞설거라고 보긴 어렵다고 했다. 유럽에서도 '자마'(Zama) 등과 같은 수많은 암호체계 관련 스타트업들이 나오고 있고, 일본도 NTT 등과 같은 곳이 암호학자들을 열심히 채용하고 있기 때문이다. 스텔레 교수는 유럽의 강점 또한 있다고 말했다. 특히 암호학자들 사이의 강력한 협업체계가 유럽에는 존재한다. 당장 스텔레 교수 팀의 성공은 유럽의 암호학 연구자들 사이의 강한 협업체계를 보여주는 사례로 꼽아볼 수 있다. 프랑스, 독일, 네덜란드, 스위스 등과 같은 여러 나라 국적의 연구자들이 함께 연구하여 양자내성 암호체계를 만든 사례이기 때문이다. 스텔레 교수는 "유럽에서는 암호학자들의 협력이 매우 활발하다"고 말했다. 실제로 양자내성 암호화 알고리즘의 경우 유럽에서 제출한 후보 3곳이 NIST의 선정 과정에서 최종단계까지 진입했었다. 천정희 대표는 "유럽에서는 매우 활발하게 암호학 연구자들이 협력을 통해 새로운 연구들을 하고 있지만 아시아에서는 그런 움직임이 강하지 않다"고 아쉬움을 나타냈다.

◆ 필즈상 11개 받은 프랑스의 교육비법

스텔레 교수와의 인터뷰에서는 전 세계적으로 벌어지고 있는 암호학 전쟁에서 이길 수 있는 근본적인 방법인 교육개혁에 대한 여러 함의들을 얻을 수 있었다. 일단 스텔레 교수의 모국인 프랑스는 수학계의 노벨상이라 불리는 '필즈상'을 수상한 사람이 11명이나 배출된 수학강국이다. '필즈상'은 최근 허준이 프린스턴대 교수가 받으면서 국내에서도 유명해 졌는데, 한인 출신으로는 허 교수가 유일한 수상자이다. 프랑스가 이처럼 수학강국이 될 수 있었던 이유에 대해 스텔레 교수는 두 가지 원인을 꼽았다.
첫째, 자유로운 연구 분위기다. 프랑스는 일단 고등사범학교(Grands Ecole)에 입학하기 매우 까다롭지만, 일단 입학하게 되면 학습은 최소화하고 굉장한 연구의 자유가 주어진다. 스텔레 교수는 "고등사범학교는 사람들을 매우 까다롭게 선택하고 최고들만 뽑는다"며 "그런 다음에는 그들에게 자유롭게 마음껏 연구하라고 한다"고 말했다. 왜 이런 교육시스템을 유지할까? 그는 "비판적 사고를 할 수 있게 하기 위한 교육체계라고 생각한다"고 말했다. 부연해서 그는 "문제를 잘 해결하는 사람이 좋은 연구자라고 하긴 어렵다"며 "왜냐하면, 좋은 연구자가 되려면 좋은 문제를 파악하는 것이 선행되어야 하기 때문"이라고 했다. 프랑스의 고등사범학교는 문제를 잘 푸는 사람 뿐만 아니라, 가치있는 문제를 선택하는 판단까지도 그 사람의 능력이라고 보고 있다는 얘기다. 스텔레 교수는 "(그랑제꼴의 철학은) 단지 연구해야 하는 문제가 주어지는 형태가 아니라, 학생이 올바른 문제를 발견해 나가는 과정 또한 교육의 정말 중요한 부분이라고 생각하는, 완전히 다른 사고방식(Mindset)이라고 봐야 한다"고 말했다.
둘째, 프랑스 사회 전반에는 '수학'이라는 학문에 대한 높은 존경심이 깔려 있다. 스텔레 교수는 "고등학교에서 뛰어난 학생들에게 주변에서 수학을 계속 하라고 권하는 경향이 강하다"며 "사회적으로 수학은 가장 어려운 학문이기도 하면서 가장 영광스러운 학문이라고 인식되어 있기 때문"이라고 말했다 그는 심지어 물리학, 컴퓨터공학, 또는 의학에 비해서도 프랑스에서는 수학에 대한 사회적 존경이 크다고 했다. 그는 프랑스에서 최고의 엔지니어링 교육기관들은 학생들의 수학에 대한 능력을 보고 선발한다고 했다. 그는 "프랑스에서 고액연봉을 받는 과학 관련 직업을 택하고 싶다면 가장 좋은 방법은 (다른 무엇보다) 수학을 잘 하는 것"이라며 "다른 무엇보다 수학에 강점을 보이는 것이 엔지니어 등으로 가는 필요조건"이라고 말했다.
2012년 HBR에 나왔던 '21세기에 가장 섹시한 직업은 데이터사이언티스트'라는 글의 제목이 이제는 '21세기에 가장 섹시한 직업은 암호학자'라고 바뀌어야 하는 것 아니냐고 묻자 스텔레 교수는 "아마 그럴지도 모른다"(maybe so)고 답했다. 스텔레 교수는 "머신러닝 같은 경우도 학계에서 연구가 있은 뒤, 기업으로 인력들이 엄청나게 이동하는 움직임이 있었다"며 "암호학계 역시 학계에서 산업계로 이동하는 엄청난 대이동이 이뤄지고 있다"고 말했다. 천정희 교수는 "프랑스의 교육시스템에서 부러운 것이 많다"고 말했다. 프랑스에서 필즈메달이 많은 이유는 특히 대학원 이후의 교육에서 자신들이 풀고 싶은 문제를 풀 수 있도록 선택하게 하고, 그 문제를 풀기 위한 연구의 자유와 시간을 부여했기 때문이 아니냐는 것이다. 반면 한국은 여전히 커리큘럼 위주로 가르치려 하며, 상대적으로 적은 시간을 자유로운 연구에 쏟게 하는 것이 아쉬운 점으로 남는다는 것이다. 그는 "수학 잘 하는 사람들은 어느 나라나 비슷한 비율로 탄생한다"며 "하지만 중요한 것은 수학 잘 하는 사람들을 그 이후에 어떻게 교육시키느냐라고 생각한다"고 말했다.
[신현규 기자]