1. 빅데이터 개요 및 활용

[1] 빅데이터 특징

(1) 빅데이터의 개념

▶ 막대한 양(수십 테라바이트 이상)의 정형 및 비정형 데이터

▶ 데이터로부터 가치를 추출하고 결과를 분석하는 기술

▶ DIKW 피라미드: 데이터 → 정보 → 지식 → 지혜
- Data(데이터): 객관적 사실로써 다른 데이터와의 상관관계가 없는 가공하기전의 순수한 수치나 기호
- Information(정보): 가공, 처리하여 데이터 간의 연관 관계와 함께 의미가 도출된 요소
- Knowledge(지식): 정보를 구조화 → 분류&일반화 시킨 결과물, 정보에 기반해 찾아진 규칙
- Wisdom(지혜): 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어 상황이나 맥락에 맞게 규칙 적용하는 요소

▶ 데이터를 수집, 저장, 관리, 분석하는 기존의 관리법으로 막대한 양의 데이터를 처리하기 어려울 때 빅데이터 사용

▶ Byte 크기 비교 : KB<MB<GB<TB<PB<EB<ZB<YB (1KB=10^3Bytes, 1MB=10^3KB=10^6Bytes)
(2) 빅데이터 특징

▶ 3V: Volume, Variety, Velocity
- Volume(크기): 빅데이터 분석 규모
- Variety(다양성):빅데이터 자원 유형(비정형/정형/반정형)
- Velocity(속도): 수집&분석&활용 속도

▶ 5V: 3V+Veracity, Value
- Veracity(신뢰성): 데이터가 가지는 신뢰, 데이터의 노이즈 및 오류 제거를 통해 품질&신뢰성 증가
- Value(가치): 빅데이터 수집 데이터를 통해 얻을 수 있는 가치(정확성,시간과 관련)

▶ 7V: 5V+Validity, Volatility
- Validity(정확성): 데이터가 가지는 유효성과 정확성
- Volatility(휘발성): 빅데이터 수집 대상 데이터가 의미가 있는 기간

(3) 데이터 지식경영 (데이터 기반 지식경영의 핵심 이유는 암묵지와 형식지의 상호작용)

▶ 지식구분: 암묵지와 형식지
- 암묵지: 학습과 경험을 통해 개인에게 체화되어 있음/ 겉으로 드러나지 않으며 공유되기 어려움
- 형식지: 문서나 메뉴얼처럼 형상화된 지식/ 전달과 공유가 용이

▶ 상호작용: 내면화, 공통화, 표출화, 연결화
- 내면화(형식지 → 암묵지): 행동과 실천교육 등을 통해 형식지가 개인의 암묵지로 체화되는 단계
- 표출화(암묵지 → 형식지): 개인에게 내제된 경험을 문서화 및 매체로 저장 or 가공, 분석하는 과정
- 공통화(암묵지 → 암묵지): 다른 사람과의 상호작용을 통해 개인이 암묵지를 습득하는 단계
- 연결화(형식지 → 형식지): 형식지가 상호결합하면서 새로운 형식지를 창출하는 과정
[2] 빅데이터의 가치

(1) 빅데이터의 가치

▶ 경제적 자산, 불확실성 제거, 리스크 감소, 스마트한 경쟁력, 타 분야 융합

(2) 빅데이터 가치 산정이 어려운 이유

▶ 데이터 활용 방식의 다양화: 특정 데이터를 언제/어디서/누가 활용했는지 어렵기 때문, 데이터의 창의적 조합으로 인해 기존에 풀 수 없는 문제를 해결하는데 도움을 주기 때문

▶ 새로운 가치 창출: 기존에 없던 가치를 창출하기 때문

▶ 분석 기술의 급속한 발전: 분석 비용이 저렴해지며 활용도가 증가했기 때문

(3) 빅데이터 영향: 빅데이터의 가치를 활용합으로써 기업, 정부, 개인이 스마트해지고 있음

▶ 기업: 혁신 수단 제공/경쟁력 강화/생산성 향상

▶ 정보: 환경 탐색/상황 분석/미래 대응 가능

▶ 개인: 목적에 따른 활용

(4) 빅데이터 위기 요인 및 통제 방안

▶ 사생활 침해 → 책임의 강조

▶ 책임 원칙 훼손 → 결과 기반의 책임 적용

▶ 데이터 오용 → 알고리즘에 대한 접근 허용 (불이익 당한 사람들을 대변할 알고리즈미스트라는 전문가 필요)

(5) 분석 가치 에스컬레이터(Analytic Value Escalator)

▶ 분석 가치에스컬레이터는 가트너가 빅데이터의 가치를 4단계로 정의한 기법

▶ 높은 난도를 수반하는 데이터 분석은 더 많은 가치를 창출

[3] 빅데이터 산업의 이해

(1) 빅데이터 산업 개요

▶ 스마트폰, SNS, 사물인터넷(IoT) 확산 등에 따라 데이터 활용이 증가 → 빅데이터 급부상

▶ 클라우드 컴퓨팅 기술의 발전 → 데이터 처리 비용 급감 → 빅데이터 발전

▶ 주요국 및 글로벌 기업은 빅데이터 '산업' 육성 및 '활용'에 주력

▶ 우리나라는 데이터 생산량이 많아 '잠재력이 크'지만 '활용'은 저조

(2) 산업별 빅데이터 활용

▶ 의료/건강, 과학기술, 정보보안, 제조/공정, 소비/거래, 교통/물류

[4] 빅데이터 조직 및 인력

(1) 빅데이터 조직 설계

▶ 빅데이터 업무 프로세스: 빅데이터 도입단계 → 빅데이터 구축단계 → 빅데이터 운영단계

▶ 조직 설계의 절차: 경영 전략 및 사업 전략 수립 → 전체 조직 구조 설계 → 핵심 업무 프로세스 검토 → 팀 조직 구조 설계 → 핵심 인력 선발 → 역할과 책임 할당 → 성과 측정 기준 수립 → 역량 교육 및 훈련

▶ 조직 구조 설계의 요소 (업무 활동/부서화/보고 체계)
- 수직 업무 활동: 경영 계획, 예산 할당 등 우선 순위를 결정
- 수평 업무 활동: 업무 프로세스 절차별로 업무를 배분

▶조직 구조 유형 (집중 구조/기능 구조/ 분산 구조)
- 집중 구조: 전사 분석 업무를 별도의 분석 전담 조직에서 담당, 전략적 중요도에 따라 분석 조직이 우선순위를 정해서 진행 가능, 현업 업무부서의 분석업무와 중복 및 이원화 가능성 높음
- 기능 구조: 일변적인 형태로 분석 조직이 없고 해당 부서에서 분석 수행, 전사적 핵심 분석이 어려우며 과거에 국한된 분석 수행
- 분산 구조: 분석 조직 인력들을 현업 부서로 직접 배치해 분석 업무를 수행, 분석 결과에 따른 신속한 피드백이 나오고 베스트 프랙티스 공유가 가능

▶ DSCoE: 데이터 사이언스 전문가 조직

▶ 조직 구조의 설계 특성
- 공식화, 분업화, 직무 전문화, 통제 범위, 의사소통 및 조정

(2) 조직 역량

▶ 기업이나 조직을 지속적으로 경영하기 위해서는 조직 역량의 확보가 필수적, 성과 달성을 위한 중요한 요소

▶ 역량 모델링
- 목표 달성을 위해 우수 성과자의 기여가 중요한 요소
- 데이터 사이언스를 수행하는 데이터 사이언티스트의 요구역량에는 소프트 스킬과 하드 스킬이 있다.

▶ 소프트 스킬, 하드 스킬
- 소프트 스킬(Soft Skill): 모든 직무에서 사용할 수 있는 기술(협업능력, 통찰력, 전달력)
- 하드 스킬(Hard Skill): 해당 업무를 수행하기 위해 필요한 실질적인 기술(숙련도, 지식)

▶ 가트너는 데이터 사이언티스트가 갖추어야 할 역량으로 '분석 모델링, 데이터 관리, 소프트 스킬, 비지니스 분석'을 제시

(3) 데이터 거버넌스

▶ 기업에서 사용하는 데이터의 가용성, 유용성, 보안성을 관리하기 위한 정책과 프로세스를 다루며 프라이버시, 보안성, 데이터 품질, 관리 규정 준수를 강조하는 모델

▶ 구성요소
- 원칙(Principle): 데이터를 유지/관리하기 위한 지침과 가이드(ex)품질기준, 보안, 변경관리)
- 조직(Organization): 데이터를 관리할 조직의 역할과 책임(ex)데이터관리자, 데이터베이스관리자, 데이터아키텍트)
- 프로세스(Process): 데이터 관리를 위한 활동과 체계 (ex)작업 절차, 모니터링 활동, 측정활동 등)

▶데이터 거버넌스 체계
- 데이터 표준화, 데이터 관리체계, 데이터 저장소 관리, 표준화 활동

(4) 분석 준비도(Readiness)

▶ 기업의 데이터 분석 도입의 수준을 파악하기 위한 진단 방법

▶ 데이터 분석 준비도 프레임워크
- 분석 업무 파악
- 인력 및 조직
- 분석 기법
- 분석 데이터
- 분석 문화
- IT 인프라

▶ 조직평가를 위한 성숙도 단계: 기업의 분석 수준은 성숙도 수준에 따라 달라짐,
- 성숙도는 비즈니스 부문, 조직/역량 부문, IT 부문을 대상으로 성숙도 수준을 평가
- 도입 단계: 분석을 시작해 환경과 시스템을 구축
- 활용 단계: 분석 결과를 실제 업무에 적용
- 확산 단계: 전사 차원에서 분석을 관리하고 공유
- 최적화 단계: 분석을 진화시켜서 혁신 및 성과 향상에 기여

▶ 개선 방안 수립: 성숙도와 준비도에 따라 4가지 유형으로 구분하여 분석 수준에 대한 목표 방향 정의 &개선 방안 수립

개선 방안 수립

준비형: 데이터 분석을 위한 낮은 준비도와 낮은 성숙도 수준에 있는 기업

정착형: 준비도는 낮으나 조직, 인력, 분석 업무, 분석 기법 등을 기업 내부에서 제한적으로 사용하고 있어 정착이 필요

도입형: 기업에서 활용하는 분석 업무, 기법들은 부족하지만 적용조직 등 준비도가 높아 바로 도입할 수 있는 기업

확산형: 기업에 필요한 6가지 분석 구성요소를 갖추고 있고, 지속적인 확산이 필요한 기업

[스몰데이터의 정의와 필요성]

스몰데이터란 미국의 브랜딩 전문가인 마틴 린드스트롬이 제시한 개념으로, 개인의 취향과 라이프스타일 등 사소한 행동 등에서 나오는 개인화된 데이터를 의미합니다.

빅 데이터의 네가지 요소, 데이터 크기, 다양성, 속도라는 3V 그리고 일부가 이야기하는 또 하나의 V 즉, 가치(즉, Value) 까지를 본다면 스몰 데이터라고 한다면 적어도 3V 측면에서는 분명 빅 데이터와 다른 것일 수 있다. 문제는 얼마나 다르며 왜 다른가가 아닐까?

크기는 어마어마하게 큰데 다양하지 않거나, 다양하기는 한데 건수는 작은 경우, 또는 데이터가 가용해지기도 처리하기에도 빠른 속도가 중요하거나 가능하거나 하지 않은 경우 등 경우의 수는 다양하다. 연속성을 가진 세가지 차원의 그래프에서 어느 한 지점에 위치하게 된다. 각 조직이 각각의 시점에서 처한 위치는 각각 다를 것이다.

여기서 스몰 데이터라고 한다면 처럼 적어도 하나 이상의 측면에서 그다지 3V의 요건과는 거리가 있는 것으로 볼 수 있다. 또는 세가지 모두에서 작은 경우일 수 있다. 어디 까지를 빅이고 어디까지를 스몰이냐고 묻는 것은 그다지 실용적이지는 않은 질문일지도 모른다. 교집합을 스몰 데이터로 볼 것인지 부분적인 합집합을 스몰 데이터로 볼 것인지 정도의 개념정의 차원의 이야기일 뿐이다.

분명한 것은 빅 보다는 작다는 정도를 이야기할 뿐 (즉, 개념적인 이야기일 뿐이지) 이전에 하던 것에 한정해서 스몰 데이터 분석이다라고 해야 하는 것은 아닐 수 있다. 규모는 작지만 이전에 경험해 보지 못했던 새로운, 고급스러운 또는 강력한 분석일 수 있기도 하기 때문이다.

이즈음에서, 50년 후를 상상해 보자. 지금 우리가 수집하고 있는 종류와 양의 데이터가 과연 빅 데이터로 불릴 수 있을까? 절대량은 그다지 중요하지 않다. 더 많은, 더 다양한 데이터를 원한다는 의미로만 해석해야 할 것이다.

스몰 데이터를 말하는 가장 큰 이유는 가치 즉, 네번째 V

가치라는 네번째 V는 스몰 데이터가 빅 데이터를 살릴 것이라는 나름대로의 전망을 내 놓은 이유이다. 누구나 알고 있듯이 가치는 ROI로 대변된다. 얼마나 제한적인 투자를 통해서 얼마나 많은 결과물을 얻을 수 있는가가 바로 가치이다. 조금 더 만들기 위해 하늘과 바다를 모두 사용할 수는 없다. 효율성이나 ROI를 무시하고 모든 데이터를 모든 가능한 방법으로 분석하겠다는 이야기는 허황된 것이 아니겠는가.

특히 작은 규모의 조직들이라면, 스몰 데이터에 대한 분석 조차 현실적으로 수행하지 못하며 할 능력이 안된다면, 걷지 못하는데 달리고 싶어하는 것과 마찬가지일 수 있을 것이다. 만일 이 과정에서 나쁜 경험을 하게 된다면 그 이후로부터는 분석이라는 것 전체를 부정하게 될 것이고, 빅 데이터라는 것은 그저 말장난에 불과하며 영원히 자신들과는 상관없는 것이라고 생각하게 될 것이다.

그렇다면빅 데이터는 잠시 잊고 있어도 될 것인가?

빅 데이터는 장편 소설 전체의 이름이다. 스타워즈라는 이름을 빼고 제국의 역습이라고 부른다고 해서 스타워즈가 아닐까? 스몰 데이터는 곧 빅 데이터이며, 빅 데이터를 위해 존재하는 것일 수 있다. 다만 다양한 측면의 관계를 가지고 있을 뿐이다. 이름을 잊고 있든 아니든은 자유일 것이다. 다만, 혼선은 피해야한다는 것이다. '빅'이라는 한 단어에만 집착하는 것은 궁극적인 목적에 어울리지 않는다. 가장 중요한 것은 큰 가치 (BIG Value)를 위한 것이니 이 모두가 어차피 빅 데이터 이다.

또 한가지 측면은 조직의 특성과 상황에 따라 빅과 스몰 중 필요한 부분이 다를 것이라는 것이다. '빅'인 조직이 스몰 데이터만 생각하는 것도 우스울 것이고 '스몰' 조직이 거창한 그림을 그리는 것도 비현실적일 것이라는 것이다.

어차피 스몰 데이터는 전체 세상의 일부이거나, 또는 요약편이라서 스몰 데이터인 것이다. 예를 든다면, 통계청이 제공하는 국가통계는 수많은 기초 자료를 요약한 것이라 그 크기가 크지 않으며, 트위터가 축적하는 데이터 역시 일부의 사람들이 일부의 상황에서만 제공하는 데이터라는 점에서 완전하거나 전체인 데이터가 아닐 수 밖에 없는 것이다.

어디서 출발하는가가 문제일 뿐이고 어디까지 결과를 낼 것인가에 따라 빅으로도 스몰로도 불릴 뿐이다. 스몰 데이터라는 용어를 통해 기대하는 것은 단지, 오직 '빅' 이라는 상징적인 개념만을 과하게 중시하는 이분법적인 생각을 경계하는 것이다. 최근 한 국내 일간지로부터 '세상은 아직 덜 연결됐다'는 도발적 제목의 기사를 접했다. 이 기사에서 와이어드의 케빈 캘리는 지금은 10점 만점에 2점 정도만 연결되었고 이제 시작일 뿐이라고 이야기 했다. 공감한다. 빅 데이터는 이 연결에 기초하고 있으며, 그 연결이 앞으로 어떤 속도와 모습으로 전개될 것인가는 그 것을 만들어가는 우리의 몫일 것이다.