문항1. 데이터 분석과 빅데이터 분석의 차이점 4가지

1. 사전 처리와 사후 처리

- 사전 처리의 역할에 대한 중요성이 상대적으로 증가하게 됨.

· 사전처리 : 정보관리 시스템이 충분히 데이터를 처리할 수 있도록 필요한 정보를

추려내고 필요 없는 정보를 제거함.

· 사후처리 : 데이터에서 의미를 찾아내기 위해 데이터 유형에 따라 적합한 저장관리,      품질관리, 보안관리를 수행함.

2. 표본조사와 전수조사

- 유의미한 시간에 대규모 전수 데이터를 정제/분석함으로써 패턴과 같은 정보를 제공      받음.

· 표본조사 : 조사의 대상이 되는 자료의 일부만을 택하여 조사함으로써 전체를

추측하는 조사.

· 전수조사 : 조사의 대상이 되는 자료의 전체를 빠짐없이 조사하는 것.

(모집단 전체 조사)

3. 질과 양

- 데이터의 양이 증가함에 따라 사소한 몇몇 오류는 분석 결과에 큰 영향을 미치지

않게 됨.

- 분석할 수 있는 데이터가 많을수록 결과의 정확성은 증가하게 됨.

4. 인과관계와 상관관계

- 인과관게보다도 상관관계의 파악이 상대적으로 더 중요해짐.

- 빠르고 저렴한 비용으로 상관관계의 파악이 가능해짐.

문항2. 데이터 전처리 기술 3가지가 무엇인지 명칭을 작성하고,

그 개념에 대해 설명하시오.

1. 데이터 필터링

- 필터링이란 오류 발견, 보정, 삭제 및 중복성 검사 등을 수행하는 것을 의미함.

- 실제 사전 테스트에서 필터링 과정을 수행하게 되고, 필터링 기준을 최적화하여

활용함.

- 단위 저장소에 파일 형태로 저장할 경우 데이터 활용 목적에 맞지 않는 정보는

필터링하여 제거해야 함.

- 데이터의 종류가 비정형 데이터인 경우 데이터 마이닝을 사용함.

- 필터링 처리 시 기술 고려사항으로는 생성된 파일의 중복성을 확인할 수 있도록

파일명, 확장자 등 필터링 기능을 제공하고 데이터 필터링 시, 사전 정의된 기준에      의거하여야 하며 오류에 대한 이력을 저장해야 함.

2. 데이터 변환

- 다양한 형식으로 수집된 데이터를 분석에 용이하도록 일관성 있는 형식으로

변환하는 것. (평렬화, 집계, 정규화, 일반화, 속성 생성)

① 평렬화 : 데이터로부터 잡음 제거를 위해 데이터 추세에 벗어나는 값들을

변환하는 기법으로 데이터 집합에 존재하는 잡음으로 인해 거칠게 분포된

데이터를 매끄럽게 만들기 위해 구간화, 군집화 등의 기법을 사용함.

② 집계 : 다양한 차원의 방법으로 데이터를 요약하는 기법으로 복수의 속성을

하나로 줄이거나 유사한 데이터가 객체를 줄이고 스케일을 변경하는 기법을

사용함,

③ 정규화 : 데이터를 정해진 구간 내에 들도록 하는 기법으로 데이터에 대한

통계적 기법을 적용함. (최소-최대 정규화, z-스코어 정규화, 소수 스케일링)

· 최소-최대 정규화 : 모든 데이터에 대해서 각각 최솟값0, 최댓값1, 다른 값들은

0과 1사이의 값으로 변환함. 단점은 이상값에 많은 영향을 받음.

· z-스코어 정규화 : 이상값 문제를 피하는 데이터 정규화 전략으로 데이터의
평균과 표준편차를 구하고, 평균 대비 및 표준편차만큼 데이터가 떨어져
있는지 점수화하는 기법.

· 소수 스케일링 : 특정값의 소수점을 이동하여 데이터 크기를 조정하는 정규화           기법

④ 일반화 : 특정 구간에 분포하는 값으로 스케일을 변화시키는 기법, 범용적인
데이터에 적합한 모델을 만드는 기법을 적용하며 일반화가 잘 되어 있다면,

이상값이나 노이즈가 들어오더라도 크게 흔들리지 않음.

⑤ 속성 생성 : 데이터 통합을 위해 새로운 속성이나 특징을 만드는 기법으로

주어진 여러 데이터 분포를 대표할 수 있는 새로운 속성이나 특징으로 대체하여         데이터를 변경 처리함.

3. 데이터 정제

- 수집된 데이터의 불일치성을 교정하기 위한 것.

① 결측치 처리 방법

· 해당 레코드 무시하기 : 분류에서 클래스 구분 라벨이 빠진 경우 레코드 무시.

결측치가 자주 발생하는 환경에서 적용 시 비효율적

· 자동으로 채우기 : 별도로 정의(예. unknown)

통계값 적용 : 평균값, 중앙값 등

추정치 적용 : 베이지안 확률 추론, 결정 트리

· 담당자가 수작업으로 입력하기 : 담당자가 직접 확인하고 적절한 값으로 수정.

신뢰성은 높을 수 있으나 많은 작업 시간이 소요됨.

② 잡음 처리 방법

- 잡음 : 랜덤 에러나 측정된 변수 변형된 값

- 잡음 발생 원인 : 센서의 작동 실패, 데이터 엔트리(기입,표기)문제, 데이터 전송         문제, 기술적인 한계, 데이터 속성 값의 부정확성 등

· 구간화 : 정렬한 데이터를 여러 개의 구간으로 배분한 후 구간 안에 있는

값들을 대푯값으로 대체, 구간 단위별로 잡음 제거 및 데이터 축약 효과,

사용되는 대푯값 : 평균, 중앙값 등

· 회기값 적용 : 데이터를 가장 잘 표현하는 추세 함수를 찾아서 이 함수의 값을

사용

· 군집화 : 비슷한 성격을 가진 클러스터 단위로 묶은 다음 아웃라이어 제거.