과제 제출

데이터 분석과 빅데이터 분석의 차이점 4가지.

가. 데이터 확장 : 전통적 분석 – 조직 내부의 데이터를 분석하는 작업 중심.

빅데이터 분석 – 웹상 데이터나 SNS상의 외부에 있는 데이터를 활용할 수 있음.

나. 데이터 다양화 : 전통적 분석 – 정형 데이터 분석 중심의 작업.

빅테이터 분석 – 비정형 데이터 활용(사진, 동영상, 텍스트 등)

다. 데이터의 대규모화 : 전통적인 데이터 분석에 비해서 빅데이터 분석이 분석 대상 데이터의 규모                            가 훨씬 크다는 차이점이 있다.

라. 데이터의 분석 목적 달성 : 통계적 분석, 확률적 분석, 인지 분석, 자동화된 의사결정 등 데이터                                   분석의 본래 목적을 달성하게 됨.

2. 데이터 전처리 기술 3가지와 그 개념

가. 필터링(filtering)

데이터 활용 목적에 맞지 않는 정보는 필터링으로 제거함으로써 분석 시간을 단축하고 저장 공간        을 줄여 효율적으로 활용하게 하며 비정형 데이터는 데이터 마이닝을 통해 오류 및 중복을 제거하        여 저품질 데이터를 개선 시키도록 처리하는 과정을 말한다.

이때, 자연어 처리 및 기계확습 등의 기술을 적용할 수 있다.

나. 유형 변환(transformation)

데이터의 유형을 변환시켜 분석이 용이한 형태로 만드는 과정을 말한다.

다. 정제(cleaning)

수집된 데이터의 불일치성을 교정하기 위한 과정으로 빠진 값을 처리하고 데이터 속에 있는 노이        즈를 제거하는 과정을 말한다.