1.

빅 데이터는 많은 양의 복잡한 데이터로 기존의 데이터 처리 응용 프로그램 소프트웨어를 사용하여 처리하기가 어렵습니다.

데이터 분석은 유용한 정보를 발견하고 의사 결정을 지원한다는 목표로 데이터를 검사, 정리, 변형 및 모델링하는 프로세스입니다. 이는 빅 데이터와 데이터 분석의 기본적인 차이점을 설명합니다.

빅 데이터와 데이터 분석의 또 다른 중요한 차이점은 사용법입니다. 큰 데이터의 사용은 시스템 병목 현상, 대규모 데이터 처리 시스템 및 확장성이 뛰어난 분산 시스템을 식별하는 것입니다. 데이터 분석의 사용은 결론을 내리고 결정을 내리고 중요한 비즈니스 통찰력을 얻는 것입니다.

또한 빅 데이터는 빅 데이터 전문가가 처리하는 반면 데이터 분석은 데이터 분석가가 처리합니다.

빅 데이터 애널리스트는 프로그래밍, NoSQL 데이터베이스, Hadoop과 같은 분산 시스템 및 프레임 워크에 대한 지식이 필요합니다. 반면 데이터 애널리스트는 프로그래밍, 통계 및 수학에 대한 지식이 있어야합니다.

금융 서비스, 통신, 정보 기술 및 소매 업계에서 큰 데이터가 발견되는 반면 데이터 분석은 비즈니스, 과학, 건강 관리, 에너지 관리 및 정보 기술에 사용됩니다.

빅 데이터와 데이터 분석의 차이점은 커다란 데이터는 대량의 복잡한 데이터이며 데이터 분석은 유용한 정보를 인식하고 의사 결정을 지원하기 위해 데이터를 조사, 변환 및 모델링하는 프로세스라는 것입니다. 요약하면, 데이터 분석은 큰 데이터에 적용되어 비즈니스 이득을 향상시키고 위험을 줄일 수 있습니다.

2. 데이터 전처리 기술

1)  데이터변환

다양한형식으로수집된데이터를분석에용이하도록일관성있는형식으로변환

2) 데이터필터링(Filterling)

데이터 중복성, 오류제거들을 위한데 이터 필터링 기준설정

데이터필터링(Filterling)

실제 사전 테스트를통하여오류발견, 보정, 삭제및중복성 검사 등 필터링 과정을 거쳐필터     링 기준을 최적화하여 활용

비정형데이터는 데이터마이닝을 통해오류, 중복, 저품질데이터를 처리할 수 있도록 자연어      처리 및 기계학습과 같은 추가 기술 적용필요

분석을위하여단위저장소에파일형태로저장할경우, 데이터 활용 목적에 맞지 않는 정보는 필      터링하여 제거해야분 석시간을 단축하고 저장공간의 효율적 활용가능

3) 데이터정제

수집된 데이터의 불일치성을 교정하기 위한 방식

결측치(Missing Value) 처리, 이상치/잡음(Noise) 처리기술활용