빅데이터의 이해

 

빅데이터란 디지털 환경에서 생성되는 대규모 데이터를 말합니다. 빅데이터의 형태는 수치형 데이터부터 텍스트를 포함한 머신데이터 등으로 다양합니다. 시장조사기관 IDC는 2017년 세계 빅데이터 및 분석 시장이 전년대비 12.4% 성장하며 1508억달러(약 171조원) 규모에 달할 것이라고 했습니다. 2017년 빅데이터 및 솔루션에 대한 투자 비중이 높을 것으로 예상되는 산업은 뱅킹, 조립제조, 공정제조, 연방·중앙정부, 전문 서비스 분야입니다.

 

 

빅데이터가 등장한 배경으로 첫째, 디지털 환경에서의 지속적으로 축적된 데이터 둘째, 데이터 과학이라는 새로운 학문의 등장 셋째, 대용량 처리를 위한 분산처리 및 저장기술의 등장이 있습니다. 빅데이터의 특징은 규모(Volume), 속도(Velocity), 다양성(Variety) 3V입니다. 네 번째 특징인 가치(Value)를 더해 4V라고 정의하기도 합니다.

 

3V에 대한 설명을 드리겠습니다. 데이터의 규모(Volume)는 기가바이트(GB)를 넘어서 테라바이트(TB), 페타바이트(PB), 엑사바이트(EB) 등으로 그 크기를 가늠하기 어려울 정도가 됐습니다. 처음에 빅데이터는 대규모 정보 자체를 의미했지만, 지금은 이 정보를 분석하는 기술의 의미로 발전했습니다. 예전에는 처리하기 어려웠던 광범위한 양을 처리할 수 있는 새로운 환경이 마련되었습니다.

 

두 번째는 속도(Velocity)입니다. 이는 데이터를 처리하는 속도를 말합니다. 이전의 데이터 처리는 월별, 분기별, 연도별로 분절적이었습니다. 이제는 분, 초, 더 나아가 0.1초 단위까지 실시간으로 데이터를 처리할 수 있습니다. 구글에서는 1분 동안 200만 건의 검색, 유튜브에서는 72시간의 비디오, twitter에서는 27만 건의 트윗이 생성됩니다.이처럼 데이터 처리 속도가 빨라진 것도 빅데이터 환경에서 주목할 요소입니다.

 

세 번째는 다양성(Variety)입니다. 데이터로 처리하기 어려웠던 동영상, 음악, SNS에 사용한 텍스트 문구까지 이제는 분석이 가능한 형태의 데이터로 변형할 수 있습니다. 이는 미래를 예측하는 방법으로 사용되고 있습니다.