빅데이터, 70배 빨리 분석한다

한국과학기술정보연구원(KISTI)이 기존의 상용 빅데이터 분석 플랫폼보다 약 70배 빠른 다차원 빅데이터 분석 기술 개발에 성공했다고 16일 밝혔다.
이번에 개발한 빅데이터 분석 시스템인 ‘투픽스(TuPiX·Turning Pixels into Knowledge and Science)는 클러스터와 같은 빅데이터 처리 환경에서 데이터 처리 및 분석에 소요되는 시간을 획기적으로 줄였다. 데이터 저장 및 계산 방식의 변화를 통해 대용량 데이터를 병렬분산처리할 때 발생하는 원형 데이터의 전처리, 불러오기, 재구성 과정 없이 바로 데이터에 접근하는 방식을 취한다.
투픽스의 또다른 장점은 환경설정에서 손쉽게 필요한 만큼 컴퓨팅 노드를 추가 및 연동할 수 있다는 것이다. 고가의 컴퓨팅 자원뿐만 아니라 대중적인 개인용 컴퓨터(PC) 수준의 사양으로도 클러스터를 구성할 수 있어 고성능 하드웨어를 도입하기 어려운 소규모 조직의 경우 인프라 구축 비용을 크게 절감할 수 있다.
KISTI는 이번에 한국해양과학기술원과 극지연구소에 위성영상 및 해양연구에 필요로 하는 기관의 특성을 고려해 맞춤형 분석 및 가시화 기능을 추가한 투픽스 오션 컬러(TuPiX Ocean Color) 시스템을 무상 기술이전했다. 그동안 한국해양과학기술원과 극지연구소 연구자들은 데이터 처리와 분석 기술의 한계로 장기간의 고해상도 데이터를 분석하는 데에 한계가 있었다. KISTI는 이번 기술이전을 통해 연구기관, 관측범위, 해상도 및 데이터 규모에 큰 제약 없이 연구를 수행할 수 있게 될 것”으로 기대했다. 박경석 KISTI 과학데이터기술연구실장은 데이터 검색 및 관리에 필요한 비용과 시간을 크게 줄일 수 있어 연구 생산성과 빅데이터 분석 및 관리 효율성 향상에 기여할 것”이라며 빅데이터 플랫폼 확산 및 융합연구 활성화를 위해 투픽스를 기반으로 하는 기관별 특화 시스템을 지속적으로 제공해나갈 계획”이라고 말했다.
[원호섭 기자]