21세기 원유, 빅데이터의 가능성

- IDC, 2015년 시장규모 169억 달러 예상 -

- 가트너, 2013년 10대 미래전략기술로 빅데이터 선정 -

 

 

 

구글은 2008년 이후 해마다 미국 질병통제예방센터(CDC)보다 7~10일가량 빠르게 독감유행시기를 예측하고 있음. 구글은 독감증세를 보이는 사람이 늘어나면서 ‘발열’, ‘기침’ 등 감기와 관련된 단어를 검색하는 빈도가 높아진 것을 발견함. 사용자가 ‘구글링(검색)’을 통해 검색한 수십억 개의 데이터, 즉 빅데이터(Big Data)가 정부보다 빠르고 정확한 예측을 할 수 있는 힘을 제공하고 있음. 또 다른 실리콘밸리의 거대 기업인 시스코는 사물에서 발생하는 데이터를 수집하고 분석해 얻을 수 있는 만물인터넷의 시장 가치가 2013년에서 2022년 사이 약 14조4000만 달러에 이를 것으로 추정하며, 이를 위해 각 기기에서 발생하는 데이터를 네트워크에서 효율적으로 관리하는 빅데이터 전략을 추구함. 이처럼 관련 기업 간 시장 선점을 위한 경쟁은 치열해지는 가운데, 산업뿐만 아니라 우리의 생활에 지대한 영향을 미치는 빅데이터에 대해 살펴보고자 함.

 

□ 빅데이터(Big Data)의 특징

 

 ○ 기존 데이터베이스 관리도구가 수집, 저장, 분석, 관리할 수 있는 범위를 넘어서는 데이터셋(Dataset)을 의미하며, 최근에는 대규모의 다양한 데이터에서 경제적으로 필요한 가치를 추출할 수 있도록 디자인된 차세대 기술과 아키텍처로 의미가 확장됨.

 

 ○ 양(Volume), 속도(Velocity), 다양성(Variety), 복잡성(Complexity) 등 고유의 특징 지님.

  - 양: 물리적인 크기뿐만 아니라 개념적인 범위까지 대규모인 데이터를 의미

  - 속도: 실시간으로 생산되며 유통 속도 또한 매우 빠름.

  - 다양성: 기존의 구조화된 정형데이터 뿐만 아니라 텍스트, 사진, 동영상 등 비정형 데이터까지 포함

 

빅데이터를 구성하는 데이터 종류 및 속성

자료원: IDC

 

□ 시장 동향

 

 ○ 시장 성장 원인

  - 모바일 단말기의 대중화, 음악·동영상 등 대용량 콘텐츠의 소비 확산과 소셜미디어 이용 증가 등으로 데이터 발생 규모가 빠르게 증가

  - 사물지능통신(M2M)센서 등의 대중화로 이용자의 의도와는 상관없이 인프라 자체가 다량의 데이터를 직접 생성하는 경우 역시 증가 추세

  - 2005년 발생한 글로벌 데이터 규모는 130엑사바이트(Exabyte)에 불과했지만, 2015년에는 7910엑사바이트까지 증가할 전망

 

일반 피처폰 대비 단말별 모바일 트래픽 유발 수준 및 모바일 데이터 트래픽 증가량 전망

자료원: Cisco

 

 ○ IDC에 따르면 빅데이터 기술·서비스·장비시장은 지난해 47억 달러에서 오는 2015년 169억 달러로 성장할 것으로 전망

 

 ○ 가트너는 2015년까지 빅데이터와 관련해 IT 업계에 440만 개의 일자리가 생겨날 것으로 전망하며, 2013년 10대 전략기술 중 하나로 빅데이터 분석기술을 선정함.

  - 모바일 기기에서 발생한 데이터를 분석하기 위해서는 빅데이터 분석이 중요해짐.

  - 하둡과 같은 NoSQL을 통해 비정형 데이터 그 자체를 분석하는 것이 필요

  - 빅데이터와 관련해 실용분석의 중요성 또한 강조됨.

  - 또한 기존에 수집은 했으나 활용하지 못한 웹로그, 회사 내의 잡다한 거래 데이터를 분석해 기업 전략에 도움이 되는 방향으로 사용할 것을 권고함.

 

 ○ 빅데이터 수요

  - 빅데이터 시장은 관련 IT업종뿐만 아니라 도입하는 산업에서 많은 가치창출이 가능하고 파급효과가 큼.

  - 가트너에 따르면 산업분야별로는 금융(25%), 서비스(15%), 제조업(15%)의 순으로 높은 수요를 보이며, 지역별로는 북미 59%, 유럽19%, 아-태 지역 17%의 순으로 수요가 높음.

 

□ 빅데이터 생태계 분석

 

 ○ 데이터 공급업체, 데이터 중계업체, 데이터 사용자의 세 가지 큰 요소로 구성

  - 데이터 공급업체: 하드웨어, 소프트웨어, 다양한 플랫폼을 통해 빅데이터 서비스를 제공하는 주체

  - 데이터 중계업체 : 데이터 공급업체와 사용자를 연결하는 주체

  - 데이터 사용자: 빅데이터 서비스를 구매, 소비하는 주체

 

빅데이터 생태계

자료원: Cisco

 

 ○ 생태계의 주요 요소는 사용자

  - 구글과 야후, 페이스북과 같은 사용자 기업이 빅데이터 기술 개발을 주도하는 것도 사용자 기술을 근간으로 하기 때문임.

  - 빅데이터의 활용을 위해서는 사용자의 역할이 서비스 제공업체나 어플리케이션 업체보다 더 크게 작용

  - 또한 빅데이터 생태계에서는 실시간 수집, 분석 및 처리, 추론을 통한 조기감지, 상황분석, 의미추론, 심층통계, 시각화 등이 중요

 

□ 미국정부의 빅데이터 관련 정책동향

 

 ○ '빅데이터 R &D 이니셔티브' 발표

  - 빅데이터를 활용한 생산성 향상 및 혁신 창출 가능성 확인

  - 방대하게 축적된 디지털 데이터에 대한 접근 및 수집·관리에 필요한 기술 및 수단 개선이 목표

  - 빅데이터 관련 기술의 발전, 관련 인력의 확충, 혁신 프로세스 가속화 등을 추진

  - 백악관 산하 과학기술정책실(OSTP) 주도로 추진 및 현재 6개 연방 부처 및 기관 참여

  - 국립과학재단, 국립보건원, 국방부, 국방부 산하 방위고등연구계획국, 에너지부, 미국지질조사원 참여 중이며 향후 미국항공우주국, 미국해양대기관리처 등 참여 예정

  - 참여 중인 주요기관의 R &D 예산이 확대됨에 따라 향후 빅데이터 관련 연구·개발이 더욱 활발해질 전망

  - 이 프로젝트를 통해 빅데이터 원천기술 개발, 빅데이터 분석에 기반을 둔 공공서비스 개선 도모 및 일자리 창출 및 예산 절감

 

□ 실리콘밸리 내 뜨고있는 빅데이터 기업

 

 ○ 스플렁크(Splunk)

  - 머신 데이터를 수집·분석하는 플랫폼 제공. 텍스트로 된 머신 데이터를 수집해 검색할 수 있도록 색인하고 검색 결과를 차트나 대시보드 형태로 보여줌.

  - 빅데이터 시대와 맞물려 실리콘밸리에서 가장 주목받는 회사

  - 현재 전 세계 80개국에서 4400여 기업을 고객으로 확보하고 있으며, 국내에서도 LGU+, KT, 중앙선거관리위원회 등이 활용하고 있음.

 

 ○ 빅스위치네트웍스(Big Switch Networks)

  - 소프트웨어정의네트워킹(SDN) 전문 업체. 오픈 SDN 아키텍처 제공, 광범위한 파트너 생태계와 네트워크 어플리케이션 및 다양한 개발 옵션을 제공

  - 현재 전 세계로 사업 반경을 넓히고, 미국과 영국, 일본에 이어 네번째로 한국을 선택함.

  - SDN과 오픈플로우가 큰 관심을 모으면서, VM웨어가 인수한 니시라와 더불어 SDN 컨트롤러업체로 유명세를 탐.

 

□ 시사점

 

 ○ 빅데이터의 의미 끊임없이 확장

  - 기존의 데이터베이스 관리도구가 수집, 저장, 분석, 관리하는 범위를 넘어 최근에는 대규모의 다양한 데이터에서 경제적으로 필요한 가치를 추출할 수 있도록 디자인된 차세대 기술과 아키텍처로까지 의미가 확장됨.

 

 ○ 폭발적인 시장 규모 증가

  - 모바일 단말기의 대중화, 음악·동영상 등 대용량 콘텐츠의 소비 확산과 소셜미디어 이용 증가 등으로 데이터 발생 규모가 빠르게 증가하고, IDC에 따르면 빅데이터 기술·서비스·장비시장은 지난해 47억 달러에서 오는 2015년 169억 달러로 성장할 것으로 전망함.

 

 ○ 중소기업, 벤처기업의 활용 방법 다양

  - 클라우드 등 다양한 방법을 접목해 필요한 IT 자원을 빠르게 구축하고, 실시간으로 빅데이터를 저장 처리할 수 있게 됨으로써 관련 시장에 진출 가능성 커짐.

 

 ○ 소비자가 같이 활동하는 생태계라는 특성을 살려야

  - 빅데이터 생태계는 데이터 공급업체, 데이터 중계업체, 데이터 사용자로 구성돼 있으며 사용자 기술이 근간이 되는 시장임. 따라서 빅데이터의 활용을 위해서는 사용자의 역할이 서비스 제공업체나 애플리케이션 업체보다 더 크게 작용함.

 

 ○ 미 정부차원의 개입 가속화

  - 미국 정부는 '빅데이터 R &D 이니셔티브'를 발표하고 빅데이터 기술의 발전, 인력의 확충, 혁신프로세스의 가속화 등을 추진함. 각국 정부의 움직임 역시 활발함.

 

 ○ 보안문제 해결이 가장 시급

  - 최근 18개국 관련 종사자를 대상으로 한 시스코 조사에 따르면, 한국의 경우 예산과 인력 부족을 이유로 빅데이터 솔루션 도입을 주저하는 것으로 나타남.

  - 이 중 특히 보안문제가 큰 걸림돌로, 약 27%의 담당자가 데이터관리 및 보안관련 리스크가 빅데이터 도입의 문제점인 것으로 보고 있음.

 

 ○ 빅데이터 활용방안 연구 시급

  - 빅데이터를 핵심자원으로 인식하고 필요한 정보를 뽑아낼 수 있도록 자원을 키우는 것이 기업의 주요 성공 전략이 될 것임.

  - 따라서, 데이터의 자원화 및 데이터를 저장, 처리, 분석하는 기술 개발 가속화 및 데이터 관리 체계와 데이터 신뢰성 확보가 매우 중요함.

  - 빅데이터 활용의 결과는 이를 활용해 적용하는 사람의 역량에 좌우되므로 데이터 처리와 분석 능력을 갖춘 인재 육성 필요

 

 

자료원: IDC, Gartner, Cisco, Bloter.net, IDG, Digital Daily, KISA, KISTEP, KOTRA 실리콘밸리 무역관 자체 보유자료 종합