문항1. 데이터 분석유형 4가지

① 기술적분석

점수카드, 대시보드에 기초하여 과거에 무슨 일이 발생했는지를 밝혀줌

그결과를 어떻게 해석할 것인가 ? 해석결과에 따라 어떻께 행동할지 결정하게됨

이때 행동의 결정을 판단하는 것은 인간이 수행함.

② 진단적분석
과거에 축척된 행동 데이터를 토대로 인과관계를 찾아냄

그 결과를 어떻게 해석할 것인가? 해석 결과에 따라 어떻게 행동할지 결정하게됨

이때 행동의 결정을 판단하는 것은 인간이 수행함

③ 예측분석

통계학적 모델을 사용해 미래에 무슨 일이 어느 정도의 확률로 일어날지 예측함

기존의 데이터베이스에서 과거의 데이터를 참조하는 데이터마이닝의 확장 기능에 해당함

ex)상품별 수요를 예측분석하면?

수요가높아지는 시점에 상품을발주하고, 수요가 내려가는 시점에 가격을 인하할수 있음

④ 처방적분석

차세대 분석법이라고도 불림

예측되는 사태를 위해서 무엇을 하면 좋을지 처방함

앞선 3가지 분석의 조합이 이루어짐

(1) 과거에 일어난 것을 해석하는 기술분석

(2) 그것이 왜 일어났는지를 밝히는 진단적 분석

(3) 그리고 앞으로 어떤일이 일어날지를 추측하는 예측분석

그 다음에 취해야 할 최선의 행동은 인간대신 컴퓨터가 고찰함

이러한 처방적 분석에서는 주로 인공지능이 이용되는 경우가 많음

분석,가설,실시,학습을 반복함으로써 제안하는 최적행동에 대한 정밀도가 올라가게됨

문항1. 빅데이터분석유형 4가지

① 데이터분석가

비즈니스에 대한 이해가 필요하며, 문제를 올바르게 정의하고 분석과정의 오류를 수정할 수 있어야 함

② 분석 기반 기술

오픈소스 소프트웨어의 구조를 이해하고 오픈소스를 사용하여 프로그래밍할 수 있는 능력이 필요함

③ 알고리즘과 분석모델이해

다양항 알고리즘을 구성하고, 모델링 기법을 선택 및 개발하여 분석과정에서 나타날 수 있는 파라미터 및 분석 모델을 최적화 할 수 있어야함

④ 데이터 통찰력

수집된 데이터를 정제하고 분석을 위한 데이터로 변환, 삭제, 업데이트 할 수 있어야 함

어떤 질문을 던져서 어떠한 과정으로, 어떻게 데이터를 이용하고, 어떤 결과물을 만들어 내는지는 데이터를 넓고 ,깊고, 다양하게 보는 통찰력에 달려있음

문항2. 데이터 전처리 기술3가지가 무엇인지 명칭을 작성하고, 그 개념에 대해 설명하시오.

수집 데이터를 저장소에 적재하기 위해 처리하는 작업에 해당함.

데이터 유형과 분석목적을 고려하여 적절한 데이터 처리기법을 선정함

데이터 전처리 기술 3가지

① 데이터 필터링

필터링이란 오류의 발견 후 보정과 삭제 또는 중복성 검사 등을 수행하는 것이다.

실제 사전 테스트에서 필터링 과정을 수행하게 되고, 필터링 기중르 최적화하여 활용하는 것이 일반적이다. 데이터 필터링 작업을 수행할 때에는 사전 정의된 기준에 의거하여야 하며, 오류에 대한 이력을 저장해야 한다.

② 데이터 변환

데이터 변환은 데이터의 특정 변수를 정해진, 규칙에 따라 변환하는 것이다.

데이터 변환 기술은 평활화, 지볘, 정규화, 일반화, 속성생성이다.

첫 번째, 평활화한 데이터로부터 잡음제거를 위해 데이터 추세에 벗어난느 값들을 변환하는 기법이다.

두 번째, 집계한 다양한 차원의 방법으로 데이터를 요약하는 기법이다. 복수의 속성을 하나로 줄이거나 유사한 데이터 객체를 줄이고 스케일을 변경하는 기법을 사용한다.

세 번째, 정규화란 데이터를 정해진 구간내에 들도록 하는 기법이다.

정규화를 할 때 사용하는 통계방식은 최소-최대 정규화, z- 스코어 정규화, 소수스케일링이다.

네 번째, 일반화란 특정구간에 분포하는 값으로 스케일을 변화시키는 기법이다.

일반화가 잘 되어 있다면 이상값이나 노이즈가 들어오더라도 크게 흔들리지 않는다.

다섯 번째, 속성 생성이란 데이터 통합을 위해 새로운 속성이나 특징을 만드는 기법이다.

이는 주어진 여러 데이터분포를 대표할 수 있는 새로운 속성이나 특징으로 대체하여 데이터를 변경처리 하는 것이다.

③ 데이터 정제

데이터 정제는 수집된 데이터의 불일치성을 교정하기 위한 것이며, 데이터 정제기술에는 결측치의 처리와 잡음 처리가 있다. 결측치를 처리하는 방법은 해당 레코드 무시하기, 자동채우기, 담당자 수작업하기가 있다.

잡음을 처리하는 방법은 구간화, 획기값 적용, 군집화이다.