데이터 분석 유형 4가지

기술적 분석 – 점수카드, 대시보드에 기초하여 과거에 무슨일이 발생했는지 밝혀줌

- 그 결과를 어떻게 해석할것인가? 해석결과에 따라 어떻게 행동할지 결정하게됨

이때 행동의 결정을 판단하는 것은 인간이 수행함

2. 진단적분석 – 과거에 축적된 행동 데이터를 토대로 인과관계를 찾아냄

그 결과를 어떻게 해석할것인가? 해석 결과에 따라 어ᄄᅠᇂ게 행동할지 결정하게됨

이때 행동의 결정을 판단하는 것은 인간이 수행함

3. 예측분석 – 통계학적 모델을 사용해 미래에 무슨 일이 어느정도의 확률로 일어날지 예측함

기존의 데이터베이스에서 과거의 데이터를 참조하느느 데이터 마이닝의 확장 기능에 대당함

예) 상품별 수요를 예측 분석하면?

수요가 높아지는 시점에 상품을 발주하고 수요가 내려가는 시점에 가격을 인하할수 있음

4. 처방적분석

차세대 분석법이라고도 불림

예측되는 사태를 위해서 무엇을 하면 좋을지 처방함

앞선 3가지 분석의 조합이 이루어짐

1) 과거에 일어난 것을 해석하는 기술적분석

2) 그것이 왜 일어났는지를 밝히는 진단적분석

3) 그리고 앞으로 어떤 일이 일어날지를 추측하는 예측분석

그 다음에 취해야할 최선의 행동은 인간 대신 컴퓨터가 고찰함

이러한 처방적 분석에서는 주로 인공지능이 이용되는 경우가 많음

: 분석-가설-실시-학습을 반복함으로써 제안하는 최적행동에 대한 정밀도가 올라가게됨

빅데이터 분석 4가지

데이터 분석가 : 비즈니스에 대한 이해가 필요하며 문제를 올바르게 정의하고 분석과정의 오류를 수정할수 있어야함

분석기반기술 : 오픈소스 소프트웨어의 구조를 이해하고 오픈소스를 사용하여 프로그래밍할 수 있는 능력이 필요함

알고리즘과 분석모델 이해 : 다양한 알고리즘을 구성하고 모델링 기법을 선택 및 개발하여 분석과정에서 나타날 수 있는 파라미터 및 분석 모델을 최적화할수 있어야함

데이터 통찰력 : 수집된 데이터를 정제하고 분석을 위한 데이터로 변환, 삭제,  업데이트 할수 있어야함

어떤 질문을 던져서 어떠한 과정으로 어떻게 데이터를 이용하고 어떤 결과물을 만들어 내는지는 데이터를 넓고 깊고 다양하게 보는  통찰력에 달려있음

데이터 전처리 기술

-> 데이터 필터링 , 데이터 변환 , 데이터 정체

데이터 필터링 특징: 필터링이란 오류발견,보정,삭제 및 중복성 검사등을 수행하는 것을 의미함

실제 사전 테스트에서 필터링 과정을 수행하고 되고 필터링 기준을 최적화하여 활용함

단위저장소에 파일 혈태로 저장할 경우? -- 데이터 활용 목적에 맞지않는 정보는 필터링하여 제거해야함

데이터의 종류가 비정형 데이터인 경우? -- 데이터 마이닝을 사용함

필터링 처리시 기술 고려사항

생성된 파일의 중복성을 확인할수 있도록 파일명 , 확장자 등 필터링 기능을 제공해야함

데이터 필터링시 사전 정의되 ㄴ기준에 의거하여야하며 오류에 대한 이력을 저장해야함

데이터변환 정의 – 다양하 ㄴ형식으로 수집된 데이터를 분석에 용이하도록 일관성 있는 형식으로 변화하는 것

데이터 변환 기슬 5가지

1) 평활화- 데이터로부터 잡음 제거를 위해 데이터 추세에 벗어나는 값들을 변화하는 기법

데이터집합에 존재하는 잡음으로 인해 거칠게 분포된 데이터를 매끄럽게 만들기 위해 구간화,군집화 등의 기법을 사용함

2) 집계 – 다양한 차원의 방법으로 데이터를 요약하는 기법

복수의 속성을 하나로 줄이거나 유사한 데이터 객체를 줄이고 스케일을 변경하는 기법을 사용함

3) 정규화 – 데이터를 정해준 가간내에 들도록 하는 기법

데이터에 대한 통계적 기법을 적용함

최소-최대정규화 : 모드 ㄴ데이터에 대해서 각각 최솟값 0 , 최대값 1 , 다른값들은 0과 1 사이의 값으로 변환함 단점은 이상값에 많은 영향을 받음

Z-스코어 정규화 : 이상값 문제를 피하는 데이터 정규화 전략으로 데이터의 평균과 표준편차를 구하고 평균대비 및 표준편차만큼 데이터가 떨어져 있는지 점수화하는 기법

소수 스케일링 : 특정값의 소수점을 이동하여 데이터 크기를 조정하는 정규화 기법

4) 일반화 – 특정구간에 분포하는 값으로 스케일을 변환시키는 기법

범용적인 데이터에 적합한 모델을 만드는 기법을 적용함

일반화가 잘 되어 있다면 이상값이나 노이즈가 들어오더라도 크게 흔들리지않음

5) 속성 생성 – 데이터 통합을 위해 새로운 속성이나 특징을 만드는 기법

주어진 여러 데이터 분포를 대표할 수 있는 새로운 속성이나 특징으로 대체하여 데이터를 변경 처리함

데이터 변환 시 기술 고려사항

데이터 변환에 필요한 알고리즘 함수 또는 변환 구조를 정의하는 기능이 제공되어야함

데이터 변환 시 사용자가 지정한 변환 형식에 준하여 변환이 이루어 졌는지 확인할수 있는 기능이 제공되어야함

데이터변환실패 부분에 대해 재시도 할 수 있는 기능을 제공하거나 신규변환 데이터가 생성을 취소할 수 있는 기능을 제공하여야함