본문 바로가기

전체 글184

[개요 정리] 멀티모달(Multi modal) 정의, 멀티모달이란? * 카네기 멜론의 멀티모달 강의를 듣고 작성한 Note입니다. Multimodal이란? 1. 수학적 관점 : 멀티 모드, 확률 밀도 함수 (Probability density function)에서 극값(local maxima)이 최고점에 다다른 모델 2. 감각 관점: 3V(Verbal / Vocal / Visual) - Verbal : Lexicon(Words) / Syntax(Part-of-speech, Dependencies) / Pragmatics 화용론(Discourse acts, 담론 행위) - Vocal : Prosody 운율(Intonatioin, Voice quality) / Vocal expressions(Laughter, moans) - Visual : gestures, body lan.. 2022. 10. 5.
[이론 정리] 분산 시스템, 병렬 시스템, 하둡, 맵리듀스 분산 시스템과 병렬 시스템 분산 시스템 * 네트워크상에 분산되어 있는 컴퓨터를 단일 시스템인 것처럼 구동하는 기술 * 분산 시스템에 속한 각 노드는 독립된 시스템임 * 독립 컴퓨터의 집합으로 만들었으나 마치 단일 시스템인 것처럼 수행되어야 함 병렬 시스템 * 문제 해결을 위한 CPU 등의 자원을 데이터 버스나 지역 통신 시스템 등으로 연결하여 구동하는 기술 * 분할된 작업을 동시에 처리하여 계산 속도를 빠르게 함 분산 병렬 컴퓨팅 다수의 독립된 컴퓨팅 자원을 네트워크상에 연결하여 이를 제어하는 미들웨어(Middle ware)를 이용해 하나의 시스템으로 동작하게 하는 기술임 고려가 필요한 문제 설 명 전체 작업의 배분 문제 * 전체 작업을 잘 쪼개어 여러 개의 작은 작업으로 나눠야 함 각 프로세서에서 계산.. 2022. 9. 18.
[이론 정리] 옵티마이저 간단하게 보기, 정의 & 방식 / 인덱스 옵티마이저(optimizer)란? 실행 계획에 의한 정해진 우선순위 또는 통계 정보를 이용하여 select 문의 질의 성능이 최적화될 수 있도록 실행 계획을 수립하는 데이터베이스 시스템 요소 옵티마이저 방식 구분 RBO CBO 개념 사전에 정의된 규칙 기반 계획 최소 비용 계산, 실행 계획 수립 기준 실행 우선순위 액세스 비용 성능 사용자의 SQL 작성 숙련도 옵티마이저 예측 성능 특징 실행 계획의 예측이 용이함 저장된 통계 정보의 활용 고려 사항 저효율, 사용자의 규칙 이해도 예측 복잡, 비용 산출 공식 정확성 인덱스란? 데이터를 찾기 위한 '색인'으로 데이터의 주소록이라고 할 수 있음 데이터를 빠르고 효율적으로 조회하기 위해 사용하는 것으로, 데이터베이스 시스템에 의해 자동으로 생성되기도 하고 사용자.. 2022. 9. 18.
[이론 정리] 뷰, 가상테이블을 사용하는 이유와 특징, 종류 뷰(View)란? 테이블과 유사하지만 실제 데이터가 없는 테이블을 바라보는 매개체이자 '거울'과 같은 개념, 가상 테이블 뷰를 사용하는 이유 - 사용자의 편의와 데이터베이스의 보안 =>원본 테이블에 직접 접근하지 않아도 사용자가 임의의 뷰를 구성하여 별도의 이름을 붙이거나 접근 가능한 사람을 지정할 수 있음 뷰의 특징 * 테이블처럼 내용을 보여줄 수 있음 * 자주 쓰거나 복잡한 SQL 문의 결과를 미리 만들어 놓을 수 있음 * 여러 테이블을 조인하여 하나의 뷰로 생성할 수 있음 * 사용자별로 접근 구너한을 다르게 할 수 있음 * 각기 다른 데이터베이스 시스템에서 각각의 데이터를 전달해야 하는 경우에도 유용함 뷰의 종류 종류 설명 비고 심플 뷰(simple view) 하나의 테이블에서 데이터 생성 crea.. 2022. 9. 18.
[이론 정리] 트랜잭션의 특징, 상태 제어, 동시성 제어 트랜잭션이란? - 데이터베이스의 DML, 즉 삽입, 갱신, 삭제와 관련된 논리적인 작업을 의미함 - 트랜잭션은 DML 실행과 동시성 제어를 위한 중요한 개념임 - 데이터베이스의 데이터 무결성이 보장되는 상태에서 DML 작업을 완수하기 위한 기본 작업 단위임 - 일반적으로 DML 실행과 실행에 대한 커밋/롤백 단계까지를 트랜잭션이라고 부르지만, 실무에서는 데이터베이스에서 select 문으로 데이터를 조회하고 DML을 실행하여 종료하는 과정까지를 트랜잭션이라고 부름 트랜잭션의 특징 개 념 내 용 원자성(Atomicity) 트랜잭션의 처리가 완전히 끝나지 않았을 경우에는 전혀 이루어지지 않은 것과 같아야 함 일관성(Consistency) 트랜잭션의 실행이 성공적으로 완료되면 데이터베이스는 모순 없이 일관성이 .. 2022. 9. 17.
[개념 구분] delete, truncate, drop 구분해서 사용하기 명령어 구분 기능 delete DML 데이터만 삭제 truncate DDL 테이블 구조만 남기고 데이터, 인덱스, 테이블 공간 삭제(기억 공간 해제) drop DDL 테이블을 포함하여 전체 삭제 데이터, 인텍스, 테이블 공간, 테이블 삭제 2022. 9. 17.
[이론 정리] 데이터 무결성 데이터 무결성이란? 데이터는 사용자의 목적에 맞게 입력되고 저장되어야 하며 규칙을 위배하지 않아야 함 따라서 데이터베이스 시스템은 데이터에 접근하거나 데이터를 처리할 때마다 부적절한 데이터가 입력되는지 검사하여 데이터에 결점이 없도록 유지해야 함 이를 지키기 위한 기본 규칙을 데이터 무결성이라고 함 데이터 무결성의 종류 유형 내용 개체 무결성 (entity integrity) 기본키(PK)로 선택된 열은 고유해야 하며 null 값을 가질 수 없음 참조 무결성 (refrence integrity) 기본 키와 외래 키의 관계 외래 키가 있는 테이블의 경우에는 기본 키와 외래 키 간의 고나계가 항상 유지됨을 보장함 참조하는 외래 키가 존재하면 행은 삭제될 수 없고 기본 키도 변경될 수 있음 영역 무결성 (do.. 2022. 9. 17.
빅데이터 처리기술 1) 빅데이터 처리과정과 요소기술 순서 처리 과정 요소기술 1 생성 * DB나 파일 관리 시스템과 같은 내부 데이터 * 인터넷으로 연결된 외부로부터 생성된 파일이나 데이터 2 수집 * 크롤링 : 데이터 원천으로부터 데이터를 검색하여 수집 / 무수히 많은 컴퓨터에 분산 저장된 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술 * ETL : 소스 데이터로부터 추출, 변환, 적재 / 다양한 원천 데이터를취합해 추출하고 공통된 형식으로 변환 * 로그 수집기 : 웹 서버나 시스템의 로그 수집 * 센서 네트워크 : 유비쿼터스 컴퓨팅 구형을 위한 초경량 저전력의 많은 센서들로 구성된 유무선 네트워크 * Open API 3 저장 * 병렬 DBMS * 하둡 * NoSQL(Not only SQL) - 모델을 단순화 -.. 2022. 9. 16.
빅데이터 플랫폼 개념 정리 빅데이터 플랫폼 등장 배경 * 정의 : 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경을 의미함 * 등장배경 1) 비즈니스 요구사항 변화 - 빠른 의사결정보다 장기적이고 전략적인 접근 필요 - 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석 환경 등장 2) 데이터 규모와 처리 복잡도 증가 - 분산 처리 필요 3) 데이터 구조의 변화와 신속성 요구 - 비정형 데이터의 비중과 실시간 처리에 대한 요구 높아짐 4) 데이터 분석 유연성 증대 - 통계 이외의 분석이 가능해졌으며, 기술 발전으로 비정형 데이터에 대한 분석 이 가능해짐 빅데이터 플랫폼의 기능 빅데이터를 처리하는 과정에서 발생하는 여러 부하를 해소함 1) 컴퓨팅 부하 발생 -.. 2022. 9. 13.
빅데이터의 가치 빅데이터의 활용 가치 4차 산업혁명시대의 원유이며 미래 경쟁 우위를 결정하는 것으로 데이터 분석을 잘 활용하는 조직일수록 차별적 경쟁력을 작추고 높은 성과를 창출함 빅데이터의 기능과 효과 1) 기존에 데이터를 갖고 있는 사업자에게는 고객 세분화, 맞춤형 개인화 서비스 등을 제공하여 경쟁 우위를 제공함 2) 의사결정을 지원하거나 이를 대신함 3) R&D 및 관리 효율성을 제고함 빅데이터의 가치 측정의 어려움 1) 데이터 활용 방식 : 누가 언제 어디서 데이터를 활용할지 알 수 없음 2) 가치 창출 방식 : 데이터는 어떤한 목적을 갖고서 가공하는가에 따라 가치가 결정됨 3) 분석 기술 발전 : 지금의 기술 상황에서는 가치가 없어 보일지라도 새로운 분석 기법이 등장할 경우 큰 가치를 찾아낼 수 있음 4) 데이.. 2022. 9. 13.
빅데이터 개요 자료 정리 빅데이터의 정의 1. 기존 데이터보다 너무 방대하여 기존의 방법이나 도구로 수집/저장/분석 등이 어려운 정형 및 비정형 데이터들을 의미함 1) 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터임 2) 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처임 3) 빅데이터는 대용량 데이터를 활용해 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출해 내며, 나아가 이를 활용해 시장과 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 것임 빅데이터의 등장과 변화 (1) 빅데이터의 등장 - 디지털화, 저장 기술, 인터넷 보급, 모바일 .. 2022. 9. 10.
데이터베이스란? 주요 개념 설명 데이터베이스란? 1. 체계적이거나 조직적으로 정리되고 전자식 또는 기타 수단으로 개별적으로 접근할 수 있는 독립된 저작물, 데이터 또는 기타 소재의 수집물임 2. 동시에 복수의 적용 업무를 지원할 수 있도록 복수 이용자의 요구에 대응해서 데이터를 받아들이고 저장, 공급하기 위하여 일정한 구조에 따라서 편성된 데이터의 집합임 3. 문자, 기호, 음성, 화상, 영상 등 상호 관련된 다수의 콘텐츠를 정보 처리 및 정보통신 기기에 의하여 체계적으로 수집, 축적하여 다양한 용도와 방법으로 이용할 수 있도록 정리한 정보의 집합체임 통합된 데이터 (Integrated Data) 자료의 중복을 배제한 데이터의 모임 저장된 데이터 (Stored Data) 컴퓨터가 접근할 수 있는 저장매체에 데이터를 저장함 공용 데이터 .. 2022. 9. 7.
반응형