통계와 빅데이터

 

통계는 기술 통계와 추측 통계로 나눠볼 수 있습니다. 기술 통계는 모집단 전체 혹은 표본으로부터 얻은 데이터에 대한 숫자 혹은 그래프 요악을 통해 데이터가 가진 정보를 정리하는 이론과 방법론을 다룹니다. 추측 통계는 표본으로부터 얻은 정보를 이용하여 모집단의 특성을 추론하거나 변수간의 적절한 함수 관계의 진위 여부를 판단하는 일련의 과정에 관한 이론과 방법론을 다룹니다. 통계 분석법으로는 상관/회귀분석, 군집분석, 시계열분석 등이 있습니다.

 

시장에서 마케팅 활동은 동시다발적으로 진행됩니다. 예를 들어 TV를 팔기 위해 가격할인, 매장 프로모션 등 다양한 마케팅 활동을 하게 됩니다. 마케팅 믹스 모델링(Marketing Mix Modeling)은 각각의 영역이 매출에 얼마만큼 기여하고 있는지 확인하는 작업입니다. 다변량회귀분석을 통해 동시에 발생되는 마케팅 활동의 영향력을 계량적으로 분리하여 각 마케팅 활동을 분석하게 됩니다. 매출을 극대화할 수 있는 매체에 대한 투자를 증가시키고, 효율성이 낮은 마케팅 활동에 대해서는 적정 수준의 투자를 유지할 수 있습니다. 투자 재분배를 통해 발생되는 매출 증가를 직접 시뮬레이션 해볼 수도 있습니다.

 

 

 

시계열분석은 과거 수집된 데이터를 바탕으로 앞으로의 시장 상황과 수요를 예측하는 방법을 말합니다. 상품이 얼마나 팔릴지 예상해서 물량을 주문하고, 가장 적기에 홍보 일정을 정할 수 있습니다. 예측 정확도를 5%만 높여도 규모가 큰 기업에서는 5~10억의 비용을 절감할 수 있습니다. 군집분석은 객체들의 유사성을 측정하여 유사성이 높은 대상 집단을 분류하고, 군집에 속한 객체들의 유사성과 서로 다른 군집에 속한 객체간의 상이성을 규명하는 분석 방법입니다. 소비자의 상품구매행동과 라이프스타일에 따른 소비자군 분류에 활용됩니다. 상권분석도 군집분석으로 가능합니다. (고객 세분화, 시장 세분화)

 

빅데이터를 좀 더 객관적인 시각으로 바라보기 위해 기술 통계와 추측 통계에 대해 생각해봐야 합니다. 빅데이터가 만병통치약처럼 언급이 되고 있으나, 보다 중요한 것은 통찰력입니다. 데이터는 힌트만 주고 있을 뿐 정답을 만드는 건 사람의 몫입니다. 많은 사람이 빅데이터를 기술 통계 영역으로 활용하고 있으나, 궁극적으로는 추측 통계로 나아가야 합니다. 이를 위해 가설 지향적 사고가 필요합니다. 실제의 활동(정보수집, 분석)을 수행하기 전에 그 과정이나 결과, 결론을 추측하는 태도입니다. 가설 지향적 사고를 한다는 것은 검증에 필요한 정보가 무엇인지를 명확하게 안다는 것입니다. 광범위한 데이터를 분석하기 위해서는 많은 시간이 소모될 수 있어 적시적기에 활용하기 어려울 수 있습니다. 또한, 오차의 범위도 커질 수 있습니다. 따라서 필요한 만큼만 정보를 수집하여 데이터 분석을 진행할 수 있습니다.

 

<참고>

http://weeklybiz.chosun.com/site/data/html_dir/2016/04/15/2016041501683.html <인과관계 밝힐 수 있나… 빅데이터가 놓치고 있는 것들>

http://www.edwith.org/pinetreeopenclass-exceldata-start/lecture/13428/ <파인트리오픈클래스, 엑셀로 데이터 분석하기>