※ 데이터 분석과 빅데이터 분석의 차이점에 4가지에 대해서 설명하시오

데이터의 급격한 증가 현상으로 인해 엄청난 대규모의 데이터를 통칭하는 용어가 필요해짐

최금에 대규모 자료의 수집, 저장, 분석, 시각화를 포괄하는 용어로 발전함

1분간 얼마나 많은 데이터가 만들어질까?

-약 1억 6천8백만의 이메일이 발송됨.

- 약 51만개의 페이스북 댓글이 달림

- 액 1민 3천 개의 아이폰 어풀이 다운로드됨.

4. 1시간 동안 월마트에서 고객업무처리를 위해 저장되는 데이터는 얼마나 될까?

- 약 2.5PB의 데이터를 저장하는 것으로 추정됨.

※데이터 전처리 기술 3가지가 무엇인지 명칭을 작성하고, 그 개념에 대해 설명하시오.(필요시, 사용되는 세부적인 기술을 설명하시오

데이터 필터링

① 데이터 필터링의 특징

- 필터링이란 오류 발견, 보정, 삭제 및 중복성 검사 등을 수행하는 것을 의미함

- 실제 사전테스트에서 필터링 과정을 수행하게 되고 필터링 기준을 최적화 하여 활용함.

- 단위 저장소에 파일 형태로 저장할 경우?

데이터 활용 목적에 맞지 않는 정보는 필터링하여 제거해야함.

- 데이터의 종류가 비정형 데이터인 경우?

데이터 마이닝을 사용함.

② 필터링 처리시 기술 고려 사항

생성된 파일의 중복성을 확인할 수 있도록 파일명, 확장자등 필터링 기능을 제공해야함.

데이터 필터링 시, 사전정의된 기준에 의거하여야 하며, 오류에 대한 이력을 저장해야함.

데이터 변환

① 데이터 변환의 정의

- 다양한 형식으로 수집된 데이터를 분석에 용이하도록 일관성 있는 형식으로 변환하는 것

② 데이터 변환 기술 5가지

Ⓐ 평활화

데이터로부터 잡음 제거를 위해 데이터 추세에 벗어나는 값들을 변환하는 기법

데이터 집합에 존재하는 잡음으로 인해 거칠게 분포된 데이터를 매끄럽게 만들기 위해 구간화, 군집화 등의 기법을 사용함.

Ⓑ집계

다양한 차원의 방법으로 데이터를 요약하는 기법

복수의 속성을 하나로 줄이거나 유사한 데이터 객체를 줄이고 스케일을 변경하는 기법을 사용함.

Ⓒ정규화

데이터를 정해진 구간 내에 들도록 하는 기법

데이터에 대한 통계적 기법을 적용함.

최소-최대 정규화 : 모든 데이터에 대해서 각각 최솟값0,  최댓잢1, 다른값들은 0과 1사이의 값으로 변환함, 단점은 이상값에 대한 많은 영양을 받음

Z- 스코어 정규화: 이상값 문제를 피하는 데이터 정규화 전략으로 데이터의 평균과 표준편차를 구하고 평균 대비 몇 표준편차만큼 데이터가 떨어져 있는지 점수화하는 기법

소수 스케일링 : 특정값의 소수점을 이동하여 데이터 크기를 조정하는 정규화 기법

Ⓓ일반화

특정 구간에 분포하는 값으로 스케일을 변화시키는 기법

범용적인 데이터에 적합한 모델을 만드는 기법을 적용함.

일반화가 잘되어 있다면, 이상값이나 노이즈가 들어오더라도 크게 흔들리지 않음

Ⓔ 속성 생성

- 데이터 통합을 위한 새로운 속성이나 특징을 만드는 기법

- 주어진 여러데이터 분포를 대표할수 있는 새로운 속성이나 특징으로 대체하여 데이터를 변경처리함.

⓷데이터 벼환시 기술고려 사항

- 데이터변환에 필요한 알고리즘 함수 또는 변환 구저를 정의하는 기능이 제공되어야함.

- 데이터 변환시 사용자가 지정한 변환 형식에 준하여 변환이 이루어졌는지 확인할수 있는 기능이 제공되어야 함.

- 데이터 변환 실패부분에 대해 재시도 할수 있는 기능을 제공하거나 신규 변환 데이터가 생성을 취소할수 있는 기능을 제공해야함.

데이터 정제

⓵ 정의 – 수집괸 데이터의 불일치성을 교정하기 위한 것

⓶ 데이터 정체 기술2가지

ⓐ 잡음처리방법

- 잡음 : 랜덤 에러나 측정된 변수의 변형된 값

- 잡음 발생원인 : 센서의 작동실패, 데이터 앤트리 문제, 데이터 전송문제, 기술적인 한계, 데이                              터 속성값의 부정확성등.

⓷ 데이터 정체시 기술고려 사항

결측치 또는 잡음을 처리하는 경우에 데이터의 저장 및 제거대상에 대해서 삭제, 처리, 확인할수 있는 기능이 제공되어야함.

데이터의 불일치성을 교정하기 뒤한 단위, 표현양식, 코드체계등이 자동으로 교정되는 자동 스크립팅기능이 제공되어야함.