빅데이터의 수집 기법 중 주로 쓰이는 8가지

1. 데이터 유형 파악하기 : 종류, 크기, 수집 주기에 따라 구분 -> RDB data, JSON, img, log

2. 수집 방법 : 유형에 따라 최적

-> 정형 데이터는 Sqoop, Vendor Driver, API

->  로그/센서는 Scribe, Flume

->  텍스트/이미지/영상 등 FTP/크롤러 등

3. 수집 솔루션 : 구성요소, 데이터 처리방식, 기본 아키텍처 확인

4. HW 구축 : 서버, 저장소, 네트워크 등 구축, 스펙 검토

5. 실행 환경 호가인 : 수집 프로그램의 동작 환경 확인.

6. 정형 데이터

- 테이블 형테의 데이터 -> RDB 데이터, Excel

7. 반정형 데이터

- 웹 문서 같은 데이터로 내부에 메타 데이터를 가짐.

- HTML, XML, JSON 등

8. 비정형 데이터

- 텍스트, 이미지 같은 데이터

- 그대로 분석하기 힘들어 전처리 과정을 거침

만약 실무에서 공공데이터를 수집 이용하여 프로젝트를 진행할 경우 어떤 수집 기법으로 진행할 것인지

- 머신 러닝 : 영화 구매 패턴으로 다른 영화 추천

- 감정 분석 : 고객 반응 분석

- 소설 네트워크 분석 : 평판이 어떤지 관찰

- 연관 분석 : 관련 상품 구입 여부 분석

- 분류 : 새 고객이 어느 집단에 속하는가

- 회귀 : 고객 연령대에 따라 구입 상품에 어떻게 되는 확인