자격증 공부6 [이론 정리] 분산 시스템, 병렬 시스템, 하둡, 맵리듀스 분산 시스템과 병렬 시스템 분산 시스템 * 네트워크상에 분산되어 있는 컴퓨터를 단일 시스템인 것처럼 구동하는 기술 * 분산 시스템에 속한 각 노드는 독립된 시스템임 * 독립 컴퓨터의 집합으로 만들었으나 마치 단일 시스템인 것처럼 수행되어야 함 병렬 시스템 * 문제 해결을 위한 CPU 등의 자원을 데이터 버스나 지역 통신 시스템 등으로 연결하여 구동하는 기술 * 분할된 작업을 동시에 처리하여 계산 속도를 빠르게 함 분산 병렬 컴퓨팅 다수의 독립된 컴퓨팅 자원을 네트워크상에 연결하여 이를 제어하는 미들웨어(Middle ware)를 이용해 하나의 시스템으로 동작하게 하는 기술임 고려가 필요한 문제 설 명 전체 작업의 배분 문제 * 전체 작업을 잘 쪼개어 여러 개의 작은 작업으로 나눠야 함 각 프로세서에서 계산.. 2022. 9. 18. 빅데이터 처리기술 1) 빅데이터 처리과정과 요소기술 순서 처리 과정 요소기술 1 생성 * DB나 파일 관리 시스템과 같은 내부 데이터 * 인터넷으로 연결된 외부로부터 생성된 파일이나 데이터 2 수집 * 크롤링 : 데이터 원천으로부터 데이터를 검색하여 수집 / 무수히 많은 컴퓨터에 분산 저장된 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술 * ETL : 소스 데이터로부터 추출, 변환, 적재 / 다양한 원천 데이터를취합해 추출하고 공통된 형식으로 변환 * 로그 수집기 : 웹 서버나 시스템의 로그 수집 * 센서 네트워크 : 유비쿼터스 컴퓨팅 구형을 위한 초경량 저전력의 많은 센서들로 구성된 유무선 네트워크 * Open API 3 저장 * 병렬 DBMS * 하둡 * NoSQL(Not only SQL) - 모델을 단순화 -.. 2022. 9. 16. 빅데이터 플랫폼 개념 정리 빅데이터 플랫폼 등장 배경 * 정의 : 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경을 의미함 * 등장배경 1) 비즈니스 요구사항 변화 - 빠른 의사결정보다 장기적이고 전략적인 접근 필요 - 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석 환경 등장 2) 데이터 규모와 처리 복잡도 증가 - 분산 처리 필요 3) 데이터 구조의 변화와 신속성 요구 - 비정형 데이터의 비중과 실시간 처리에 대한 요구 높아짐 4) 데이터 분석 유연성 증대 - 통계 이외의 분석이 가능해졌으며, 기술 발전으로 비정형 데이터에 대한 분석 이 가능해짐 빅데이터 플랫폼의 기능 빅데이터를 처리하는 과정에서 발생하는 여러 부하를 해소함 1) 컴퓨팅 부하 발생 -.. 2022. 9. 13. 빅데이터의 가치 빅데이터의 활용 가치 4차 산업혁명시대의 원유이며 미래 경쟁 우위를 결정하는 것으로 데이터 분석을 잘 활용하는 조직일수록 차별적 경쟁력을 작추고 높은 성과를 창출함 빅데이터의 기능과 효과 1) 기존에 데이터를 갖고 있는 사업자에게는 고객 세분화, 맞춤형 개인화 서비스 등을 제공하여 경쟁 우위를 제공함 2) 의사결정을 지원하거나 이를 대신함 3) R&D 및 관리 효율성을 제고함 빅데이터의 가치 측정의 어려움 1) 데이터 활용 방식 : 누가 언제 어디서 데이터를 활용할지 알 수 없음 2) 가치 창출 방식 : 데이터는 어떤한 목적을 갖고서 가공하는가에 따라 가치가 결정됨 3) 분석 기술 발전 : 지금의 기술 상황에서는 가치가 없어 보일지라도 새로운 분석 기법이 등장할 경우 큰 가치를 찾아낼 수 있음 4) 데이.. 2022. 9. 13. 빅데이터 개요 자료 정리 빅데이터의 정의 1. 기존 데이터보다 너무 방대하여 기존의 방법이나 도구로 수집/저장/분석 등이 어려운 정형 및 비정형 데이터들을 의미함 1) 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터임 2) 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처임 3) 빅데이터는 대용량 데이터를 활용해 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출해 내며, 나아가 이를 활용해 시장과 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 것임 빅데이터의 등장과 변화 (1) 빅데이터의 등장 - 디지털화, 저장 기술, 인터넷 보급, 모바일 .. 2022. 9. 10. 데이터베이스란? 주요 개념 설명 데이터베이스란? 1. 체계적이거나 조직적으로 정리되고 전자식 또는 기타 수단으로 개별적으로 접근할 수 있는 독립된 저작물, 데이터 또는 기타 소재의 수집물임 2. 동시에 복수의 적용 업무를 지원할 수 있도록 복수 이용자의 요구에 대응해서 데이터를 받아들이고 저장, 공급하기 위하여 일정한 구조에 따라서 편성된 데이터의 집합임 3. 문자, 기호, 음성, 화상, 영상 등 상호 관련된 다수의 콘텐츠를 정보 처리 및 정보통신 기기에 의하여 체계적으로 수집, 축적하여 다양한 용도와 방법으로 이용할 수 있도록 정리한 정보의 집합체임 통합된 데이터 (Integrated Data) 자료의 중복을 배제한 데이터의 모임 저장된 데이터 (Stored Data) 컴퓨터가 접근할 수 있는 저장매체에 데이터를 저장함 공용 데이터 .. 2022. 9. 7. 이전 1 다음 반응형
