빅데이터 처리기술

1) 빅데이터 처리과정과 요소기술

순서	처리 과정	요소기술
1	생성	*  DB나 파일 관리 시스템과 같은 내부 데이터 * 인터넷으로 연결된 외부로부터 생성된 파일이나 데이터
2	수집	* 크롤링 : 데이터 원천으로부터 데이터를 검색하여 수집 / 무수히 많은 컴퓨터에 분산 저장된 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술 * ETL : 소스 데이터로부터 추출, 변환, 적재 / 다양한 원천 데이터를취합해 추출하고 공통된 형식으로 변환 * 로그 수집기 : 웹 서버나 시스템의 로그 수집 * 센서 네트워크 : 유비쿼터스 컴퓨팅 구형을 위한 초경량 저전력의 많은 센서들로 구성된 유무선 네트워크 * Open API
3	저장	* 병렬 DBMS * 하둡 * NoSQL(Not only SQL)  - 모델을 단순화  - 기존의 DBMS의 트랜잭션 속성인 원자성(Atomicity), 일관성(Consistency), 독립성(Isolation), 지속성(Durability) 포기  - 즉각적인 데이터 업데이트 가능 *  * 시스템 간의 데이터를 서로 공유 * 저렴한 비용으로 정형, 반정형, 비정형 데이터를 쉽고 빠르게 저장
4	처리	- 분석 병렬 및 인 메모리(In-memory) 방식으로 실시간 처리 - 하둡(Hadoop)의 맵리듀스(MapReduce)
5	분석	- 특정 분야 및 목적의 특성에 맞는 분석 기법 선택이 중요함 - 통계분석, 데이터 마이닝, 텍스트 마이닝, 기계학습
6	시각화	- 처리 및 분석 결과를 표, 그래프 등으로 표현하여 탐색이나 해석에 활용 - 정보 시각화 기술, 시각화 도구, 편집 기술, 신시간 자료 시각화 기술