기술2 빅데이터 처리기술 1) 빅데이터 처리과정과 요소기술 순서 처리 과정 요소기술 1 생성 * DB나 파일 관리 시스템과 같은 내부 데이터 * 인터넷으로 연결된 외부로부터 생성된 파일이나 데이터 2 수집 * 크롤링 : 데이터 원천으로부터 데이터를 검색하여 수집 / 무수히 많은 컴퓨터에 분산 저장된 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술 * ETL : 소스 데이터로부터 추출, 변환, 적재 / 다양한 원천 데이터를취합해 추출하고 공통된 형식으로 변환 * 로그 수집기 : 웹 서버나 시스템의 로그 수집 * 센서 네트워크 : 유비쿼터스 컴퓨팅 구형을 위한 초경량 저전력의 많은 센서들로 구성된 유무선 네트워크 * Open API 3 저장 * 병렬 DBMS * 하둡 * NoSQL(Not only SQL) - 모델을 단순화 -.. 2022. 9. 16. 빅데이터 플랫폼 개념 정리 빅데이터 플랫폼 등장 배경 * 정의 : 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경을 의미함 * 등장배경 1) 비즈니스 요구사항 변화 - 빠른 의사결정보다 장기적이고 전략적인 접근 필요 - 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석 환경 등장 2) 데이터 규모와 처리 복잡도 증가 - 분산 처리 필요 3) 데이터 구조의 변화와 신속성 요구 - 비정형 데이터의 비중과 실시간 처리에 대한 요구 높아짐 4) 데이터 분석 유연성 증대 - 통계 이외의 분석이 가능해졌으며, 기술 발전으로 비정형 데이터에 대한 분석 이 가능해짐 빅데이터 플랫폼의 기능 빅데이터를 처리하는 과정에서 발생하는 여러 부하를 해소함 1) 컴퓨팅 부하 발생 -.. 2022. 9. 13. 이전 1 다음 반응형
