첫째, 크롤링입니다. SNS, 웹, 뉴스 정보 등의 인터넷상에 제공하는 웹 문서 정보를 수집합니다.

둘째, 스크래핑입니다. 인터넷 웹 사이트에 보이는 내용 중에서 특정 정보만을 추출하고 모든 동작을 자동으로 수행합니다.

셋째, FTP입니다. TCP/IP 프로토콜을 이용하여 인터넷 서버로부터 각종 파일을 송수신합니다.

넷째, 오픈 API입니다.  서비스, 정보, 데이터 등의 개방된 정보로부터 API를 통해 데이터를 수집합니다.

다섯째, RSS입니다. 웹상의 최신 정보를 공유하기 위한 XML 기반의 콘텐츠 배급 프로토콜입니다.

여섯째, 스트리밍(Streaming)입니다. 인터넷에서 음성, 오디오, 비디오 등의 멀티미디어 데이터를 송수신하는 기술입니다.

일곱째, 로그 Aggregator입니다. 웹 서버 로그, 웹 로그, 트랜잭션 로그, 데이터베이스 로그 등의 각종 서비스 로그를 수집하는 오픈소스 기술입니다.

여덜째, RDB Aggregator입니다. 관계형 데이터베이스에서 정형 데이터를 수집하여 하둡 분산 파일 시스템(HDFS)이나 HBase 등의 NoSQL에 저장하는 오픈소스 기술입니다.

마지막으로 실무에서 크롤링기법으로 진행하겠습니다. 가장 많이 사용하는 기법으로 익숙하기 때문입니다.