문항1. 데이터 분석과 빅데이터 분석의 차이점에 4가지에 대해서 설명하시오

1) 질과 양

데이터의 질보다 양이 더 강조되어 실시간으로 분석할 수 있는 데이터의 양이 증가하면 사소한 오류는 분석 결과에 큰 영향을 미치지 않게 됩니다.

2) 사전처리와 사후처리

빅데이터 처리기술이 등장함에 따라 사후처리가 더욱 중요해졌습니다.

3) 표본조사와 전수조사

기존에는 데이터 수집단계에서 표본조사를 통해 필요한 만큼만의 데이터를 만들었는데,

그 이유는 수집, 처리 비용, 분석 능력 등의 부담이 존재했기 때문입니다.

하지만 이제는 조사의 대상이 되는 자료 전체를 빠짐없이 조사하는 전수조사가 가능해졌는데

전수조사의 장점은 표본조사가 주지 못하는 패턴 같은 정보를 제공합니다.

4) 인과관계와 상관관계

인과관계보다 상관관계 파악이 비즈니스의 상황에서는 중요합니다.

인과관계를 증명한 뒤에 행동하기에는 비용대비 효과가 나오지 않을 때가 훨씬 많은데,

빅데이터 분석을 통해 다양한 상관관계를 더 빠르고 저렴하게 도출 할수 있습니다.

문항2. 데이터 전처리 기술 3가지가 무엇인지 명칭을 작성하고, 그 개념에 대해 설명하시오.

(필요시, 사용되는 세부적인 기술을 설명하시오.)

1) 데이터 필터링

필터링 : 오류의 발견 후 보정, 삭제 또는 중복성 검사 등을 수행하는 것

실제 사전 테스트에서 필터링 과정을 수행하고, 필터링 기준을 최적화하여 활용하는 것이 일반적입니다.

데이터 필터링 작업 : 사전 정의된 기준에 의거하여, 오류에 대한 이력을 저장

2) 데이터 변환

데이터 변환 : 데이터의 특정 변수를 정해진 규칙에 따라 변환하는 것

변환 기술로는 평활화, 집계, 정규화, 일반화, 속성 생성이 있습니다.

평활화 :데이터로부터 잡음제거를 위해 데이터 추세에 벗어나는 값들을 변환하는 기법

집계 : 다양한 차원의 방법으로 데이터를 요약하는 기법

정규화 : 데이터를 정해진 구간 내에 들도록 하는 기법

일반화 : 특정 구간에 분포하는 값으로 스케일을 변환시키는 기법

속성 생성 : 데이터 통합을 위해 새로운 속성이나 특징을 만드는 기법

3) 데이터 정제

데이터 정제 : 수집된 데이터의 불일치성을 교정하기 위한 것

정제 기술로는 결측치 처리, 잡음 처리가 있습니다.

결측치 처리 : 해당 레코드 무시하기, 담당자 수작업, 자동 채우기

잡음 처리 : 구간화, 군집화, 회기값 적용