[한번에 따라잡는 4차산업 디지털 융합의 이해] 과제 제출

경북하이브리드부품연구원_백중택

Q. 빅데이터의 종류 3가지를 나열하고 상세 내용을 서술하시오.

우선 빅데이터의 종류 3가지를 나열하기 앞서 빅데이터란 무엇인가에 대해 설명하고자 한다. 빅데이터란 데이터양의 증가와 데이터 종류의 다양성 그리고 데이터의 생산속도 및 처리속도의 증가 때문에 기존에 있던 저장, 관리, 분석기법으로는 데이터를 처리하는데 어려움이 있어 이를 해결하기 위해 새로운 기술과 인프라 및 인적인프라 등을 빅데이터라 칭한다. 빅데이터의 특성으로는 흔히 3V라고 표현하며, 세부적으로는 데이터의 양, 데이터의 속도, 데이터의 종류 3가지로 나뉘게 된다. 우선 데이터의 양은 일반적으로 수십 테라바이트 or 수십 페타바이트 이상의 범위에 해당하는 것이 빅데이터의 특징이다. 데이터의 양이 엄청나서 서버 1개, 컴퓨터 1개로는 도저히 저장하거나 처리할 수 없는 양의 데이터가 바로 빅데이터의 양적 특성을 보여주는 부분이다. 두 번째로 데이터의 속도이다. 21세기 전자기기의 발달로 인해 디지털 데이터는 매우 빠르게 생성되고 있다. 이렇게 빠르게 생성되는 데이터들을 수집하고, 저장한 뒤 분석하여 처리하는 것이 실시간으로 이루어져야 하므로 빅데이터는 속도가 생명이라고 볼 수 있다. 데이터의 종류에는 데이터 정형화 정도에 따라 정형, 반정형, 비정형 데이터 3가지로 분류가 된다. 엑셀 시트의 표처럼 고정된 필드에 저장될 수 있는 데이터를 정형데이터라 말하고, 일정한 형식, 기준을 갖추어 저장할 수 있는 데이터를 뜻한다. 예를 들어 관계형 데이터베이스의 테이블과 같이 고정된 칼럼에 저장되는 데이터, 지정된 행과 열로 데이터의 속성이 정해져 있는 프레드시트 데이터, 콤마로 구조가 결정되는 시에스브이 데이터 등이 있다. 정형데이터는 반정형, 비정형 데이터와는 달리 정해진 형식과 저장 구조를 바탕으로 손쉽게 데이터에 대한 부분 검색 및 선택, 갱신, 삭제 등의 연산을 수행할 수 있어 주로 정형화된 업무 or 서비스에 사용된다. 반정형 데이터는 데이터의 형식과 구조가 변경될 수 있는 데이터로 데이터의 구조 정보를 데이터와 함께 제공하는 파일 형식의 데이터이다. 대표적인 반정형 데이터 구조는 하이퍼텍스트 마크업 언어, 확장성 마크업 언어, 자원 기술 프레임워크, 제이슨 등이 있다. 반정형 데이터는 정형 데이터처럼 테이블의 행과 열로 구조화되어 있지는 않으나, 파일에 포함된 데이터 구조 정보를 바탕으로 테이블 형태의 데이터 스키마로 변환하고 데이터를 매핑하여 정형 데이터로 변환할 수 있다. 마지막으로 비정형 데이터란 정의된 구조가 없이 정형화되지 않은 데이터를 일컫는다. 대표적인 비정형 데이터에는 동영상 파일, 오디오 파일, 사진, 보고서(문서), 메일 본문 등이 있다. 비정형 데이터는 데이터 구조가 없어 비정형 데이터 자체만으로는 내용에 대한 질의 처리를 할 수 없다. 따라서 데이터의 특징을 추출하여, 반정형, 또는 정형 데이터로 변환하는 전처리가 필요하다. 데이터 분석 또는 인공지능 모델의 개발 목적과 입력 데이터의 종류에 따라 매우 다양한 방법의 전처리를 사용한다. 텍스트 형태의 데이터는 전처리를 위해 자연어 처리 기법을 주로 사용한다. 동영상, 오디오, 사진 등 미디어 파일은 필터를 이용하여 노이즈를 제거하거나 데이터 범위를 변환하는 방법으로 전처리하며, 주로 기계 학습을 위한 입력 데이터로 활용한다.