빅데이터 플랫폼 개념 정리

빅데이터 플랫폼 등장 배경

* 정의 : 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경을 의미함

 

* 등장배경

1) 비즈니스 요구사항 변화

- 빠른 의사결정보다 장기적이고 전략적인 접근 필요 

- 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석 환경 등장

2) 데이터 규모와 처리 복잡도 증가

- 분산 처리 필요

3) 데이터 구조의 변화와 신속성 요구

- 비정형 데이터의 비중과 실시간 처리에 대한 요구 높아짐

4) 데이터 분석 유연성 증대

- 통계 이외의 분석이 가능해졌으며, 기술 발전으로 비정형 데이터에 대한 분석 이 가능해짐

---

빅데이터 플랫폼의 기능

빅데이터를 처리하는 과정에서 발생하는 여러 부하를 해소함

1) 컴퓨팅 부하 발생

- CPU, GPU, 메모리 등을 사용하며 부하 발생 ==> CPU 성능 향상, 클러스터에서의 효과적인 자원 할당으로 해결

2) 저장 부하 발생

- 데이터 처리 과정의 입력 데이터, 중간 가공 데이터, 출력 데이터 등 여러 단계에서 부하가 발생 ==> 파일 시스템 개선, 메모리와 파일 시스템의 효과적인 사용 및 데이터베이스의 성능 향상으로 제어

3) 네트워크 부하 발생

- 분산처리를 할 때, 노드(Node) 간의 통신 과정에서 부하가 발생 ==> 대역폭의 효과적 분배 및 네트워크상에서 최단거리에 위치한 노드를 탐색하여 제어

---

빅데이터 플랫폼의 조건

서비스 사용자와 제공자 모두가 만족할 수 있는 환경 제공

1) 서비스 사용자 측면 조건

- 주어진 문제를 해결하기에 충분한 요소들을 제공하는 환경인가?

- 편리한 UI를 제공하는가?

2) 서비스 제공자 측면 조건

- 성능 관리 기능 제공

- 사용자 접속 및 인증 관리 기능 제공

- 자원 관리 기능 제공

- 서비스 품질 관리를 위한 각종 지표 제공

- 안전한 서비스 제공을 위한 보안적인 요소를 갖추고 있는가?

- 플랫폼 도입을 통해 비용 절감이 있는가?

---

빅데이터 플랫폼의 구조

소프트웨어 계층	* 데이터 처리 및 분석 엔진	* 데이터 수집 및 정제 모듈	* 서비스 관련 모듈	* 사용자 관리 모듈	* 모니터링 모듈	* 보안 모듈
	- 데이터 처리 및 분석 - 처리 및 분석 워크플로우 구성 - 데이터 분석 결과 표현	- 데이터 추출 - 데이터 변환 - 데이터 적재(to 웨어하우스)		- 인증 및 접속 관리 - 사용자 서비스 관리 - SLA(사용자 수준 협약) 관리	- 서비스 모니터링(서비스 사용성 및 성능)
플랫폼 계층	* 사용자 요청 파싱 모듈	* 작업 스케줄링 모듈	* 데이터 및 자원 할당 모듈	*  프로파일링 모듈	* 데이터 관리 모듈	* 자원 관리 모듈
			- 초기 데이터 할당 - 데이터 재할당 및 복제 - 초기 자원 할당 - 자원 재할당 및 스케일링	- 자원 프로파일링 - 응용 프로파일링 - 응용 시뮬레이션
			* 서비스 관리 모듈	* 사용자 관리 모듈	* 모니터링 모듈	* 보안 모듈
				- 인증 및 접속 관리 - 사용자 서비스 관리 - SLA(사용자 수준 협약) 관리	- 서비스 모니터링(서비스 사용성 및 성능)
인프라 스트럭처 계층	* 사용자 요청 파싱 모듈	* 자원 배치 모듈	* 노드 관리 모듈	* 스토리지 관리 모듈	* 네트워크 관리 모듈
		- 초기 지원 배치 - 자원 재할당 및 스케일링
			* 서비스 관리 모듈	* 사용자 관리 모듈	* 모니터링 모듈	* 보안 모듈
				- 인증 및 접속 관리 - 사용자 서비스 관리 - SLA(사용자 수준 협약) 관리	- 서비스 모니터링(서비스 사용성 및 성능) - 자원 모니터링