문항1. 데이터 분석과 빅데이터 분석의 차이점에 4가지에 대해서 설명하시오. (48점)

첫째, 사전처리와 사후처리이다. 빅데이터 처리기술이 등장함에 따라 사후처리가 중요해졌다.

둘째, 표본조사와 전수조사이다. 기존 데이터 수집단계에서 표본조사를 통해 필요한 만큼만의 데이터를 만들었으나, 이제는 조사의 대상이 되는 자료 전체를 빠짐없이 조사하는 전수조사가 가능해졌다. 전수조사의 장점은 표본조사가 주지 못하는 패턴과 같은 정보를 제공한다.

셋째, 질과 양이다. 데이터의 질보다 양이 강조되고 있다. 실시간으로 분석할 수 있는 데이터의 양이 증가하면 사소한 오류는 분석결과에 큰 영향을 미치지 않게 된다.

넷째, 인과관계와 상관관계이다. 비즈니스 상황에서 중요한 것은 인과관계보다도 상관관계 파악이다. 인과관계를 증명한 후 행동하기에는 비용대비 효과가 나오지 않을 때가 훨씬 더 많다. 빅데이터 분석을 통해 다양한 상관관계를 빠르게 저렴하게 도출할 수 있게 되었다.

문항2. 데이터 전처리 기술 3가지가 무엇인지 명칭을 작성하고, 그 개념에 대해 설명하시오.(필요시, 사용되는 세부적인 기술을 설명하시오.) (52점)

첫째, 데이터 필터링이다.

필터링이란 오류의 발견 후 보정과 삭제 또는 중복성 검사 등을 수행하는 것으로, 실제 사전 테스트에서 필터링 과정을 수행하게 되고, 필터링 기준을 최적화하여 활용하는 것이 일반적이다.

둘째, 데이터 변환이다.

데이터 변환은 데이터의 특정 변수를 정해진 규칙에 따라 변환하는 것이다. 데이터 변환 기술은 평활화, 집계, 정규화, 일반화, 속성 생성 다섯가지이다.

셋째, 데이터 정제이다.

데이터 정제란 수집된 데이터의 불일치성을 교정하기 위한 것이며, 데이터 정제 기술에는 결측치의 처리와 잡음 처리가 있다. 결측치를 처리하는 방법은 해당 레코드 무시하기, 자동채우기, 담당자 수작업하기가 있다. 잡음을 처리하는 방법은 구간화, 회기값 적용, 군집화이다.