빅데이터의 종류 및 특성

- 빅데이터는 고정된 필드에 저장된 데이터인 정형 데이터, 고정된 필드에 저장되어 있지 않지만, 메타데이터나 스키마 등을 포함하는 반정형 데이터, 고정된 필드에 저장되어 있지 않은 비정형 데이터로 분류된다.

1. 정형 데이터

- 정형 데이터는 데이터를 확보하기 위하여 미리 정해 놓은 형식과 구조를 필요로 하며, 이에 잘 알려진 포맷이나 명확한 데이터 구조 표현 방법을 사용한다. 따라서 사용자가 쉽게 이해하고 시스템에 쉽게 적용할 수 있는 장점이 있다. 정형 데이터는 정해진 형식과 저장 구조를 바탕으로 손쉽게 데이터에 대한 부분 검색 및 선택, 갱신, 삭제 등의 연산을 수행할 수 있어 주로 정형화된 업무 또는 서비스에 사용되고 있다. 대표적인 정형 데이터로는 관계형 데이터베이스의 테이블과 같이 고정된 칼럼에 저장되는 데이터, 지정된 행과 열로 데이터의 속성이 정해져 있는 스프레드시트 데이터, 콤마로 구조가 결정되는 시에스브이 데이터 등이 있다.

2. 반정형 데이터

- 반정형 데이터는 스키마(데이터 개체, 속성, 관계와 이들에 대한 제약 조건들에 대한 정보) 수정이 쉽고 파일 단위로 구성되어 전송과 공유가 쉽다는 장점이 있다. 데이터의 순서 및 배열 등으로 이루어진 로그 데이터, 센싱 데이터 등 데이터의 형식과 구조가 제공되는 데이터는 형식과 구조의 저장 형태에 따라 정형 데이터 또는 반정형 데이터 형태로 처리할 수도 있다. 대표적인 반정형 데이터는 하이퍼텍스트 마크업 언어, 확장성 마크업 언어, 자원 기술 프레임워크, 제이슨 등이 있다.

3. 비정형 데이터

- 동영상 파일, 오디오 파일, 사진, 보고서, 메일 본문 등의 비정형 데이터는 특정한 데이터 구조가 없어 비정형 데이터 자체만으로는 내용에 대한 질의 처리를 할 수 없으며, 이에 따라 데이터의 특징을 추출하여 반정형 또는 정형 데이터로 변환하는 전처리가 필요하다. 데이터 변환을 위한 전처리는 데이터 분석, 인공지능 모델의 개발 목적, 입력 데이터의 종류에 따라 다양한 방법이 사용되고 있다. 자연어 처리 기법은 텍스트 형태의 전처리를 위한 기법으로 주로 사용되며, 미디어 파일은 필터를 이용한 노이즈 제거 방법, 데이터 범위 변환 방법을 통하여 주로 기계 학습을 위한 입력 데이터로 활용한다. 빅데이터 중에서 비정형 데이터는 지속적으로 생성되는 데이터 중 가장 큰 비중을 차지하며, 마케팅, 비즈니스 인텔리전스 등의 분야에 주로 활용되고 있다.