1. 데이터 마이닝의 개념

데이터마이닝(data mining), 또는 자료채굴(資料採掘)은, 대규모로 저장된 데이터안에서 체계적이고 자동적으로 통계적규칙이나 짜임을 분석하여, 가치있는 정보를 빼내는 과정이다. 다른 말로는, KDD(데이터베이스속의 앎발견, knowledge-discovery in databases)라고도 일컫는다.

2. 데이터마이닝의 프로세스

1) 비즈니스 목표설정 : 데이터 마이닝 프로세스에서 가장 어려운 부분이지만 가장 중요한 단계이다. 데이터 과학자와 비즈니스 이해 관계자는 비즈니스 문제를 정의하기 위해 협력해야 하며, 이는 주어진 프로젝트에 대한 데이터 질문과 매개 변수를 알려주는데 도움이 된다. 분석가는 비즈니스 콘텍스트를 적절하게 이해하기 위해 추가 조사를 수행해야 할 수도 있다.

2) 데이터 준비 : 문제의 범위가 정의되면 데이터 과학자는 비즈니스에 대한 질문에 답하는데 도움이 될 데이터 세트를 식별한다. 관련된 데이터를 수집하면 데이터의 중복, 누락된 값 및 이상값과 같은 노이즈를 제거하고 , 모델 내에서 최적의 정확도를 보장하기 위해 가장 중요한 예측 변수를 유지해야 한다.

3) 모델 구축 및 패턴 마이닝 : 분석 유형에 따라 순차 패턴, 연관 규칙 또는 상관관계와 같은 흥미로운 데이터 관계를 조사한다. 사용 가능한 데이터에 따라 데이터 세트를 분류하거나 클러스터링 하기 위해 딥러닝 알고리즘을 적용할 수도 있다. 입력 데이터에 레이블이 지정되면 분류모델을 사용하여 데이털ㄹ 분류하거나, 회귀를 적용하여 특정 할당의 가능성을 예측할 수 있다. 데이터 세트에 레이블이 지정되지 않은 경우 학습세트의 개별데이터 포인트가 서로 비교되어 기본 유사성을 발견하고 해당 특서을 기반으로 클러스터링 한다.

4) 결과 평가 및 지식 구현 : 일단 데이터가 집계되면 결과를 평가하고 해석해야 한다. 결과는 유효하고, 새롭고, 유용하고, 이해할 수 있어야한다. 이 기준이 충족 되면 조직은 이 지식을 사용하여 새로운 전략을 구현하고 의도한 목표를 달성할 수 있다.

3. 데이터마이닝 기법을 수행할 때 어떤 절차로 진행 할 것인가

1) 문제 정의

2) 모델링과 모델에 따른 속성 선정

- 예측 모델

- 패턴 분석

3) 샘플 데이터셋 구성

- 알고리즘에 사용할 예제 데이터 구성

- 기계학습일 경우 학습 데이터가 된다.

- 모집단의 모든 데이터를 사용하기 불가능한 경우 (또는 비싼 경우) 샘플링

4) 정규화와 데이터 정제

- 데이터 셋에서 한 속성이라도 값이 없는 인스턴스는 제거한다.

- 정규화 기법

5) 데이터 분석

- Data Over-fitting(과적합) : 모델이 샘플(학습) 데이터셋을 과도하게 분석하는 바람에 모집단(예측) 데이터에서 정확한 결과를 내지 못하는 현상

- 과적합을 피하는 기법

= k-fold cross validation : 샘플 데이터셋이 많지 않을때 사용.

= 데이터 셋을 임의로 k개로 나눈다.

= k-1 개의 데이터 셋을 학습시키고 나머지 데이터 셋(k번째) 을 가지고 모델을 테스트한다.

= 모든 k 개의 데이터 셋에 대해 위 과정을 반복한다.

= 모델 에러의 예측값은 각 모델 테스트에서 발생한 에러의 평균값이다.

= 당연히 에러 예측값이 가장 작은 모델을 선택한다.

6) 예측 모델의 품질 측정

7) 예측 모델 적용