1.빅데이터의 수집 기법 중 주로 쓰이는 8가지 기법 및 정의를 나열하고,

만약 실무에서 공공데이터를 수집 이용하여 프로젝트를 진행할 경우 어떤 수집 기법으로 진행할 것인지 서술하시오.

<빅데이터의 수집 기법>

(1)크롤링: sns ,웹, 뉴스 정보 등의 인터넷상에 제공하는 웹 문서 정보를 수집

(2)스크랩핑 : 인터넷 웹 사이트에 보이는 내용중에서 특정 정보만을 추출하고

모든 동작을 자동으로 수행함.

(3)FTP:  TCP/IP 프로토콜을 이용하여 인터넷 서버로부터 각종 파일을 송수신함.

(4)오픈 API: 서비스, 정보, 데이터 등의 개방된 정보로부터 API를 통해 데이터를 수집

(5)RSS: 웹상의 최신 정보를 공유하기 위한 XML 기반의 콘텐츠 배급 프로토콜

(6)스트리밍: 인터넷에서 음성, 오디오, 비디오 등의 멀티미디어 데이터를 송수신하는 기술

(7)로그 : 웹 서버 로그, 웹로그 ,트랜잭션 로금, 데이터 베이스 로그 각종서비스

로그를 수집하는 오픈 소스 기술

(8)RDB: 관계형 데이터베이스에서 정형데이터를 수집하여 하둡분산 파일 시스템 이나              HBase 등의 NoSQL에 저장하는 오픈소스 기술

실무에서 공공 데이터를 수집 이용하여 프로젝트를 진행할 경우 어떤 수집기법으로

진행 할 것인지 서술하시오

크롤링: sns ,웹, 뉴스 정보 등의 인터넷상에 제공하는 웹 문서 정보를 수집

-데이터 유형과 형태에 따른 검색시 및 크롤러 > 다양한 유형의 공공 데이터 수집