문항1. 데이터분석과 빅데이터 분석의 차이점에 4가지에 대해서 설명하시오.

(1) 사전 처리와 사후 처리

▶ 사후 처리의 역할에 대한 중요성이 상대적으로 증가하게 됨

▹사전처리(Pre-Processing)

- 정보관리 시스템이 충분히 데이터를 처리할 수 있도록 필요한 정보를 추려내고 필요없는 정보를 제거        함

▹사후 처리(Post-Processing)

- 데이터에서 의미를 찾아내기 위해 데이터 유형에 따라 적합한 저장관리, 품질관리, 보안 관리를 수행        함

(2) 표본조사와 전수조사

▶ 유의미한 시간에 대규모 전수 데이터의 정제/분석함으로써 패턴과 같은 정보를 제공받음

▹표본조사: 조사의 대상이 되는 자료의 일부만을 택하여 조사함으로써 전체를 추측하는 조사

▹전수조사: 조사의 대상이 되는 자료 전체를 빠짐없이 조사하는 것(모집단 전체 조사)

(3) 질과 양

▶ 데이터의 양이 증가함에 따라 사소한 몇 몇 오류는 분석 결과에 큰 영향을 미치지 않게 됨

▶ 분석할 수 있는 데이터가 많을수록 결과의 정확은 증가하게 됨

(4) 인과관계와 상관관계

▶ 인간관계보다도 상관관계의 파악이 상대적으로 더 중요해짐

▶ 빠르고, 저렴한 비용으로 상관관계의 파악이 가능해짐

문항2. 데이터 전치리 기술 3가지가 무엇인지 명칭을 작성하고, 그 개념에 대해 설명하시오.(필요시, 사용되는 세부적인 기술을 설명하시오)

(1) 데이터 필터링

▶ 데이터 필터링 특징

▹필터링이란 오류발견, 보정, 삭제 및 중복성 검사 등을 수행하는 것을 의미함

▹실제 사전 테스트에서 필터링 과정을 수행하게 되고, 필터링 기준을 최적화하여 활용함

▹단위 저장소에 파일 형태로 저장할 경우?

- 데이터 활용 목적에 맞지 않는 정보는 필터링하여 제거해야 함

▹데이터의 종류가 비정형 데이터인 경우?

- 데이터 마이닝을 사용함

▶ 필터링 처리시 기술 고려사항

▹생성된 파일의 중복성을 확인 할 수 있도록 파일명, 확장자 등 필터링 기능을 제공해야 함

▹데이터 필터링 시, 사전 정의된 기준에 의거하여야 하며, 오류에 대한  이력을 저장해야 함

(2) 데이터 변환

▶ 데이터 변환 정의

▹다양한 형식으로 수집된 데이터를 분석에 용이하도록 일관성 있는 형식으로 변화하는 것

▶ 데이터 변환 기술 5가지

▹1) 평활화(Smoothing)

- 데이터로부터 잡음 제거를 위해 데이터 추세에 벗어나는 값들을 변환하는 기법

- 데이터 집합에 존재하는 잡음으로 인해 거칠게 분포된 데이터를 매끄럽게 만들기 위해 구간화,              군집화 등의 기법을 사용함

▹2) 집계(Aggregation)

- 다양한 차원의 방법으로 데이터를 요약하는 기법

- 복수의 속성을 하나로 줄이거나 유사한 데이터 객체를 줄이고 스케일을 변경하는 기법을 사용함

▹3) 정규화(Normalization)

- 데이터를 정해진 구간 내에 들도록 하는 기법

- 데이터에 대한 통계적 기법을 적용함

□ 최소-최대 정규화 : 모든 데이터에 대해서 각각 최솟값 0, 최댓값 1, 다른 값들은 0과 1사이             의 값으로 변환함, 단점은 이상값에 많은 영향을 받음

□ Z-스코어 정규화 : 이상값 문제를 피하는 데이터 정규화 전략으로 데이터의 평균과 표준편차             를 구하고, 평균 대비 몇 표준편차만큼 데이터가 떨어져 있는지 점수화하는 기법

□ 소수 스케일링 : 특정값의 소수점을 이동하여 데이터 크기를 조정하는 정규화 기법

▹4) 일반화(Generalization)

- 특정 구간에 분포하는 값으로 스케일을 변화시키는 기법

- 범용적인 데이터에 적합한 모델을 만드는 기법을 적용함

- 일반화가 잘 되어 있다면, 이상값이나 노이즈가 들어오더라도 크게 흔들리지 않음

▹5) 속성 생성(Attibute/Feature Construction)

- 데이터 통합을 위해 새로운 속성이나 특징을 만드는 기법

- 주어진 여러 데이터 분포를 대표할 수 있는 새로운 속성이나 특징으로 대체하여 데이터를 변경             처리함

▶ 데이터 변환 시 기술 고려 사항

▹데이터 변환에 필요한 알고리즘 함수 또는 변환 구조를 정의하는 기능이 제공되어야 함

▹데이터 변환 시, 사용자가 지정한 변환 형식에 준하여 변환이 이루어졌는지 확인할 수 있는 기능            이 제공되어야 함

▹데이터 변환 실패 부분에 대해 재시도 할 수 있는 기능을 제공하거나 신규 변환 데이터가 생성을           취소할 수 있는 기능을 제공해야 함

(3) 데이터 정제

▶ 데이터 정제 정의

▹수집된 데이터의 불일치성을 교정하기 위한 것

▶ 데이터 정제 기술 2가지

▹(1) 결측치(Missing Value) 처리 방법

방 법	설 명
해당 레코드 무시하기	- 분류에서 클래스 구분 라벨이 빠진 경우 레코드 무시 - 결측치가 자주 발행하는 환경에서 적용시 비효율적
자동으로 채우기	- 별도로 정의: 예)“unknown” - 통계값 적용: 평균값, 중앙값 등 - 추정치 적용: 베이지안 확률 추론, 결정트리
담당자가 수작업으로 입력하기	- 담당자가 직접 확인하고 적절한 값으로 수정 - 신뢰성은 높을 수 있으나 많은 작업 시간이 소요됨

▹(2) 잡음(Noisy) 처리 방법

□ 랜덤

- 랜덤 에러나 측정된 변수의 변형된 값

□ 잡음 발생 원인

- 센서의 작동 실패, 데이터 엔트리(기입, 표기) 문제, 데이터 전송 문제, 기술적인 한계, 데이터               속성 값의 부정확성 등

방 법	설 명
구간화(Binning)	- 정렬한 데이터를 여러 개의 구간으로 배분한 후 구간 안에 있는 값들을 대푯값으로 대체 - 구간 단위별로 잡음 제거 및 데이터 축약 효과 - 사용되는 대푯값 : 평균, 중앙값 등
회기값 적용(Regression)	- 데이터를 가장 잘 표현하는 추세 함수를 찾아서 이 함수의 값을 사용
군집화(Clustering)	- 비슷한 성격을 가진 클러스터 단위로 묶은 다음 아웃라이어 제거

▶ 데이터 정제시 기술 고려 사항

▹결측치 또는 잡음을 처리하는 경우에 데이터의 저장 및 제거 대상에 대해서 삭제, 처리, 확인할             수 있는 기능이 제공되어야 함

▹데이터의 불일치성을 교정하기 위한 단위, 표현양식, 코드체계 등이 자동으로 교정되는 자동 스크           립팅 기능이 제공되어야 함