문항1. 데이터 분석과 빅데이터 분석의 차이점에 4가지에 대해서 설명하시오. (48점)

데이터 분석은 아래 4개 유형으로 분류할 수 있다.

1) 기술적 분석 : 점수카드와 대시보드에 기초하여 과거에 어떤 일이 발생했는지를 밝혀줌 / 그 결과를 어떻게 해석할 것인가? 해석 결과에 따라 어떻게 행동할지 결정 / 인간이 행동 결정 판단

2) 진단적 분석 : 과거에 축적된 행동 데이터를 토대로 인과관계를 찾아냄 / 그 결과를 어떻게 해석할 것인가? 해석 결과에 따라 어떻게 행동할지 결정 / 인간이 행동 결정 판단

3) 예측 분석 : 통계학적 모델을 사용해 미래에 무슨 일이 어느 정도의 확률로 일어날지 예측함 / 기존의 데이터베이스에서 과거의 데이터를 참조하는 데이터 마이닝의 확장 기능에 해당함

4) 처방적 분석(차세대 분석법) : 예측되는 사태를 위해서 무엇을 하면 좋을지 처방함 / 앞선 3가지 분석의 조합(과거의 사건을 해석하는 기술적 분석 + 발생 이유를 밝히는 진단적 분석 + 앞으로의 일을 추측하는 예측 분석) / 주로 인공지능이 활용(반복 학습을 통해 최적 행동에 대한 정확도 개선)

빅데이터 분석에는 아래 4개의 요소가 있다.

1) 데이터 분석가 : 비즈니스에 대한 이해가 필요하며, 문제를 올바르게 정의하고 분석 과정의 오류를 수정할 수 있어야 함

2) 분석 기반 기술 : 오픈소스 소프트웨어의 구조를 이해하고 오픈소스를 사용하여 프로그래밍할 수 있는 능력 필요

3) 알고리즘과 분석 모델 이해 : 다양한 알고리즘을 구성하고 모델링 기법을 선택, 개발하여 분석과정에서 나타날 수 있는 파라미터 및 분석 모델 최적화가 가능해야 함

4) 데이터 통찰력 : 수집된 데이터를 정제하고 분석을 위한 데이터로 변환, 삭제, 업데이트 할 수 있어야 함 / 어떤 질문을 던져서 어떠한 과정으로, 어떻게 데이터를 이용하고, 어떤 결과물을 만들어 내는지는 데이터를 넓고 깊고 다양하게 보는 통찰력에 달려 있음

문항2. 데이터 전처리 기술 3가지가 무엇인지 명칭을 작성하고, 그 개념에 대해 설명하시오.(필요시, 사용되는 세부적인 기술을 설명하시오.) (52점)

데이터 전처리 기술에는 데이터 필터링, 데이터 변환, 데이터 정제 기술이 있다.

1) 데이터 필터링 : 오류 발견, 보정, 삭제, 중복성 검사 등을 수행하는 과정

실제 사전 테스트에서 필터링 과정 수행, 필터링 기준을 최적화하여 활용 / 활용 목적에 맞지 않는 정보는 필터링하여 제거, 비정형 데이터일 경우 마이닝을 사용해야 함 / 파일의 중복성 확인이 가능하도록 필터링 기능 제공 필요, 오류에 대한 이력 저장 필요

2) 데이터 변환 : 다양한 형식으로 수집된 데이터를 분석에 용이하도록 일관성 있는 형식으로 변환하는 과정

- 평활화 : 잡음 제거를 위해 구간화, 군집화 등의 기법을 통해 데이터 추세에 벗어나는 값들을 변환

- 집계 : 다양한 차원의 방법으로 데이터 요약, 중복 제거, 유사 객체 줄이는 등 스케일 변경 기법 활용

- 정규화 : 통계적 기법을 활용해 정해진 구간 내에 데이터가 들도록 함

- 일반화 : 특정 구간에 분포하는 값으로 스케일 변화, 일반화가 잘 되어 있다면 이상값이나 노이즈에 대한 영향이 적어짐

- 속성 생성 : 데이터 통합을 위한 새로운 특징이나 속성 생성

2) 데이터 정제 : 수집된 데이터의 불일치성 교정 과정

- 결측치 처리 : 해당 레코드 무시(결측치 빈도가 높은 환경에는 비효율적), 자동 채우기(별도값으로 정의), 수작업(긴 작업 시간, 높은 신뢰도)

- 잡음 처리 : 구간화(평균, 중앙값 등의 대푯값 활용), 회기값 적용(데이터와 가장 비슷한 추세 함수를 찾아 해당 함수의 값 활용), 군집화(비슷한 성격을 가진 클러스터 단위로 묶은 다음 아웃라이어 제거)