문항1. 데이터 분석과 빅데이터 분석의 차이점에 4가지에 대해서 설명하시오. (48점)

빅 데이터는 기존 데이터베이스 관리도구의 능력을 넘어서는 수량의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다.

일반적으로 다음과 같은 네 가지 V로 특징지어진다.

볼륨(Volume): 대량의 데이터

다양성(Variety): 다양한 비정형 및 정형 형태의 데이터

속도(Velocity): 들어오는 데이터의 빈도

진실성(Veracity): 데이터의 신뢰성

문항2. 데이터 전처리 기술 3가지가 무엇인지 명칭을 작성하고, 그 개념에 대해 설명하시오.(필요시, 사용되는 세부적인 기술을 설명하시오.) (52점)

결측치 처리: 데이터 삭제, 다른값으로 대체(최대값, 최소값, 중앙값등), 예측 모델을 활용한 값 삽입

이상치 처리 : 입력오류(데이터 삭제, 다른 값으로 대체), 자연발생(feature 추가)

Feature Enginnering : scaling(feature의 단위를 변경), binning(수치형->범주형), transform (feature를 분리하거나 연산- 날짜, 주중/주말), encoding (범주형 -> 수치형)