본문 바로가기

분류 전체보기184

[도서 스터디] 트랜스포머를 활용한 자연어 처리_chapter1 : 트랜스포머 소개 chapter1 : 트랜스포머 소개 트랜스포머(transformer) 맛보기 Attention is All You Need(2017)에서 시퀀스 모델링을 위한 새로운 신경망 아키텍처를 제안함 순환신경망(RNN) 대비 기계 번역 학습의 품질과 훈련 비용 좋음 효율적인 전이학습 방법(ULMFiT)으로 매우 크고 다양한 말뭉치(corpus)에서 장단기메모리(LSTM) 신경망을 훈련해 적은 양의 레이블링된 데이터로도 높은 성능 가장 유명한 트랜스포머 모델 1) GPT(Generative Pretrained Transformer) 2) BERT(Bidirectional Encoder Representations from Transformers) 다양한 트랜스포머 모델 time line [참조] LLM time l.. 2023. 8. 4.
딥러닝 불균형 데이터 분류 모델 만들기 loss에 라벨별 각각의 가중치를 주면됨 from tensorflow.keras import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.layers import Conv1D from tensorflow.keras.layers import Bidirectional, LSTM, GRU, SimpleRNN from tensorflow.keras.layers import BatchNormalization, LeakyReLU from tensorflow.keras import Input, Model from tensorflow.keras.callbacks import EarlyStopping.. 2023. 4. 8.
머신러닝 데이터 분류모델 훈련 시키기 from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.neural_network import MLPClassifier from sklearn.ensemble import VotingClassifier from xgboost import XGBClassifier from sklearn.semi_supervised import SelfTrainingClassifier from modeling.model_evaluation import evaluation from jobli.. 2023. 4. 8.
[도커-이미지] 이미지 선택 기준 및 태그 설명 도커를 설치 후 사용하다 보면 여러 이미지들을 다운로드 받고, 이미지를 직접 만들게 된다. 그러던 중 어떤 이미지를 선택하면 좋을지 기준을 찾아보고 정리하게 되었다. 결론 1. official 이미지인지 확인하기 (도커 허브 혹은 docker search $NAME 으로 확인) 2. 도커 컨테이너를 운영하는 환경 확인 후 다운로드 (도커 컨테이너가 실행되는 서버 등의 저장공간 크기, 하드웨어(gpu 등), OS 지원이 되는 이미지인지 확인) 3. 도커 컨테이너 내부의 실행 버전과 커스터마이징 정도를 판단하여 다운로드하기 (리눅스, 파이썬 버전 등을 고려하고, 기본 셋팅이 얼마나 되어 있는지에 따라 docker file 작성에 대한 공수가 달라진다) 하나씩 확인해 보자 1. 공식 이미지인지 확인하기 1) .. 2023. 1. 31.
[C 언어] 초급 - hello world! 프로그래밍 언어 공부의 가장 첫 번째! hello world! 찍기 output : Hello World! #include main() { printf("Hello World!"); } 코드 설명 : #include // standard input output의 header파일의 약자로 input /output에 사용하는 함수 임포트 main() // 실행 함수. 반드시 있어야 실행됨 { printf("Hello World!"); // printf() 함수 : 프린트하는 함수 // ;(세미콜론)으로 함수를 call(실행)함 } https://www.acmicpc.net/problem/2557 2557번: Hello World Hello World!를 출력하시오. www.acmicpc.net 2023. 1. 31.
간단한 설치 - window10 에 minikube 설치 및 확인, 실행하기 이미 도커는 설치한 상태에서 minikube 다운로드 및 설치 https://minikube.sigs.k8s.io/docs/start/ minikube start minikube is local Kubernetes minikube.sigs.k8s.io minikube install exe 파일 다운로드 및 설치 kubectl 설치 파일 다운로드 및 설치 https://kubernetes.io/docs/tasks/tools/install-kubectl/#install-kubectl-on-windows Install Tools Set up Kubernetes tools on your computer. kubernetes.io 설치 확인하기 minikube 버전 확인 명령어 C:\Users\Username>m.. 2022. 11. 30.
[에러 해결하기] Consider using the `--user` option or check the permissions. ==== 에러 문구 === ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 액세스가 거부되었습니다: 'C:\\ProgramData\\Anaconda3\\envs\\mathg\\Lib\......' Consider using the `--user` option or check the permissions. ================ 에러 상황 : python에서 패키지 설치하다가 발생함. 개발환경 : conda virtual environments 설치하하련느 패키지 : tensorflow-data-validation 에러 발생 명령어 : pip install tensorflow-data-validation === 해.. 2022. 11. 25.
트랜스포머 이론 정리 시퀀스-투-시퀀스란? 특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업 주의점 : 소스와 타깃의 길이가 달라도 해당 과제를 수행하는데 문제가 없어야 함 인코더와 디코더 인코더(encoder) : 소스 시퀀스 압축 디코더(decoder) : 타깃 시퀀스 생성 트랜스포머란? 기계 번역 등 시퀀스-투-시퀀스 과제를 수행하는 모델(2017년 구글이 제안) BERT나 GPT는 프랜스포머 기반 언어 모델임 트랜스포머는 인코더와 디코더 입력이 주어졌을 때 정답에 해당하는 단어(벡터)의 확률값(벡터의 특징, 요솟값, 전체합은 1)을 높이는 방식으로 학습한다. 트랜스포머 블록의 요소 1. 트랜스포머 블록 1-1. 멀티 헤드 어텐션(multi-head attendtion) = 셀프 어텐션 1-1-1. 어텐션(.. 2022. 10. 26.
멀티모달 예시 https://github.com/artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs/blob/main/stacking_early_fusion_UPMC_food101.ipynb GitHub - artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs Contribute to artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs development by creating an account on GitHub. github.com http://artelab.dista.uninsubria.it/res/resea.. 2022. 10. 13.
멀티모달 python 라이브러리/패키지 소개 1. AutoGluon 구분 특징 1 [패키지 활용 목적] 정형데이터(table), 비정형데이터(text, image)에 대한 autoML 패키지 2 [인프라] cpu, gpu, amazon에서 활용 가능(Sage Maker) 3 [예측 모듈] 테이블데이터 예측, 멀티모달 예측, 이미지 예측, 이미지의 객체 검출, 텍스트 예측, 시계열 데이터 예측 4 [멀티모달 관련 예측] 서로 다른 언어 번역기, 제로-샷 이미지 분류기 등 https://auto.gluon.ai/stable/index.html AutoGluon: AutoML for Text, Image, and Tabular Data — AutoGluon Documentation 0.5.2 documentation auto.gluon.ai 2022. 10. 13.
트랜스퍼 러닝 트랜스퍼 러닝 정의 : 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법 장점 : 기존보다 모델의 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향 존재 업스트림 태스크 대규모 말뭉치의 문맥을 이해하는 과제, 다음 단어 맞히기, 빈칸 채우기 등 언어모델 : 다음 단어 맞추기 마스크 언어 모델 : 중간에(빈칸) 단어 맞추기 예시 : BERT 다운스트림 태스크 자연어처리의 구체적인 문제들, 문서 분류, 개체명 인식 파인튜닝 : 프리트레인을 마친 모델을 다운스트림 태스크에 맞도록 모델 전체를 업데이트하는 기법, 다운스트림 태스트 데이터 전체 사용, 모델 전체 업데이트 프롬프트 튜닝 : 다운스트림 태스크 데이터 전체 사용, 모델 일부만 업데이트 인컨텍스트 러닝 : 다운스트림 태스트 데이터.. 2022. 10. 5.
토큰화란? 토큰화 정의 : 토큰화란 문장을 토큰 시퀀스로 나누는 과정임 단어 단위 토큰화 종류 : 단어(어절) 단위로 토큰화/공백 문자로 토큰화 장점 : 단어 단위의 뜻을 갖고 있음 단점 : 어휘 집합(vocabulary)의 크기가 매우 커질 수 있음 / 미등록 토큰 문제 발생 문자 단위 토큰화 종류 : 문자 하나씩 나눠서 토큰화 장점 : 어휘 집합(vocabulary)의 크기가 단어 단위보다 상대적으로 작음 / 미등록 토큰 처리 가능 단점 : 단어의 뜻이 없어짐 / 분석된 토큰 시퀀스가 길어짐 서브워드 단위 토큰화(단어와 문자 단위 토큰화의 중간 단계) 종류 : BPE(바이트 페어 인코딩) 장점 : 어휘 집합의 크기가 너무 커지지 않음 / 미등록 토큰 처리 가능 / 분석된 토큰 시퀀스가 너무 길지 않음 절차 1단.. 2022. 10. 5.
[개요 정리] 멀티모달(Multi modal) 정의, 멀티모달이란? * 카네기 멜론의 멀티모달 강의를 듣고 작성한 Note입니다. Multimodal이란? 1. 수학적 관점 : 멀티 모드, 확률 밀도 함수 (Probability density function)에서 극값(local maxima)이 최고점에 다다른 모델 2. 감각 관점: 3V(Verbal / Vocal / Visual) - Verbal : Lexicon(Words) / Syntax(Part-of-speech, Dependencies) / Pragmatics 화용론(Discourse acts, 담론 행위) - Vocal : Prosody 운율(Intonatioin, Voice quality) / Vocal expressions(Laughter, moans) - Visual : gestures, body lan.. 2022. 10. 5.
[이론 정리] 분산 시스템, 병렬 시스템, 하둡, 맵리듀스 분산 시스템과 병렬 시스템 분산 시스템 * 네트워크상에 분산되어 있는 컴퓨터를 단일 시스템인 것처럼 구동하는 기술 * 분산 시스템에 속한 각 노드는 독립된 시스템임 * 독립 컴퓨터의 집합으로 만들었으나 마치 단일 시스템인 것처럼 수행되어야 함 병렬 시스템 * 문제 해결을 위한 CPU 등의 자원을 데이터 버스나 지역 통신 시스템 등으로 연결하여 구동하는 기술 * 분할된 작업을 동시에 처리하여 계산 속도를 빠르게 함 분산 병렬 컴퓨팅 다수의 독립된 컴퓨팅 자원을 네트워크상에 연결하여 이를 제어하는 미들웨어(Middle ware)를 이용해 하나의 시스템으로 동작하게 하는 기술임 고려가 필요한 문제 설 명 전체 작업의 배분 문제 * 전체 작업을 잘 쪼개어 여러 개의 작은 작업으로 나눠야 함 각 프로세서에서 계산.. 2022. 9. 18.
[이론 정리] 옵티마이저 간단하게 보기, 정의 & 방식 / 인덱스 옵티마이저(optimizer)란? 실행 계획에 의한 정해진 우선순위 또는 통계 정보를 이용하여 select 문의 질의 성능이 최적화될 수 있도록 실행 계획을 수립하는 데이터베이스 시스템 요소 옵티마이저 방식 구분 RBO CBO 개념 사전에 정의된 규칙 기반 계획 최소 비용 계산, 실행 계획 수립 기준 실행 우선순위 액세스 비용 성능 사용자의 SQL 작성 숙련도 옵티마이저 예측 성능 특징 실행 계획의 예측이 용이함 저장된 통계 정보의 활용 고려 사항 저효율, 사용자의 규칙 이해도 예측 복잡, 비용 산출 공식 정확성 인덱스란? 데이터를 찾기 위한 '색인'으로 데이터의 주소록이라고 할 수 있음 데이터를 빠르고 효율적으로 조회하기 위해 사용하는 것으로, 데이터베이스 시스템에 의해 자동으로 생성되기도 하고 사용자.. 2022. 9. 18.
반응형

티스토리툴바