본문 바로가기

전체 글184

[도서 스터디] 트랜스포머를 활용한 자연어 처리_chapter1 : 트랜스포머 소개 chapter1 : 트랜스포머 소개 트랜스포머(transformer) 맛보기 Attention is All You Need(2017)에서 시퀀스 모델링을 위한 새로운 신경망 아키텍처를 제안함 순환신경망(RNN) 대비 기계 번역 학습의 품질과 훈련 비용 좋음 효율적인 전이학습 방법(ULMFiT)으로 매우 크고 다양한 말뭉치(corpus)에서 장단기메모리(LSTM) 신경망을 훈련해 적은 양의 레이블링된 데이터로도 높은 성능 가장 유명한 트랜스포머 모델 1) GPT(Generative Pretrained Transformer) 2) BERT(Bidirectional Encoder Representations from Transformers) 다양한 트랜스포머 모델 time line [참조] LLM time l.. 2023. 8. 4.
딥러닝 불균형 데이터 분류 모델 만들기 loss에 라벨별 각각의 가중치를 주면됨 from tensorflow.keras import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.layers import Conv1D from tensorflow.keras.layers import Bidirectional, LSTM, GRU, SimpleRNN from tensorflow.keras.layers import BatchNormalization, LeakyReLU from tensorflow.keras import Input, Model from tensorflow.keras.callbacks import EarlyStopping.. 2023. 4. 8.
머신러닝 데이터 분류모델 훈련 시키기 from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.neural_network import MLPClassifier from sklearn.ensemble import VotingClassifier from xgboost import XGBClassifier from sklearn.semi_supervised import SelfTrainingClassifier from modeling.model_evaluation import evaluation from jobli.. 2023. 4. 8.
[도커-이미지] 이미지 선택 기준 및 태그 설명 도커를 설치 후 사용하다 보면 여러 이미지들을 다운로드 받고, 이미지를 직접 만들게 된다. 그러던 중 어떤 이미지를 선택하면 좋을지 기준을 찾아보고 정리하게 되었다. 결론 1. official 이미지인지 확인하기 (도커 허브 혹은 docker search $NAME 으로 확인) 2. 도커 컨테이너를 운영하는 환경 확인 후 다운로드 (도커 컨테이너가 실행되는 서버 등의 저장공간 크기, 하드웨어(gpu 등), OS 지원이 되는 이미지인지 확인) 3. 도커 컨테이너 내부의 실행 버전과 커스터마이징 정도를 판단하여 다운로드하기 (리눅스, 파이썬 버전 등을 고려하고, 기본 셋팅이 얼마나 되어 있는지에 따라 docker file 작성에 대한 공수가 달라진다) 하나씩 확인해 보자 1. 공식 이미지인지 확인하기 1) .. 2023. 1. 31.
[C 언어] 초급 - hello world! 프로그래밍 언어 공부의 가장 첫 번째! hello world! 찍기 output : Hello World! #include main() { printf("Hello World!"); } 코드 설명 : #include // standard input output의 header파일의 약자로 input /output에 사용하는 함수 임포트 main() // 실행 함수. 반드시 있어야 실행됨 { printf("Hello World!"); // printf() 함수 : 프린트하는 함수 // ;(세미콜론)으로 함수를 call(실행)함 } https://www.acmicpc.net/problem/2557 2557번: Hello World Hello World!를 출력하시오. www.acmicpc.net 2023. 1. 31.
간단한 설치 - window10 에 minikube 설치 및 확인, 실행하기 이미 도커는 설치한 상태에서 minikube 다운로드 및 설치 https://minikube.sigs.k8s.io/docs/start/ minikube start minikube is local Kubernetes minikube.sigs.k8s.io minikube install exe 파일 다운로드 및 설치 kubectl 설치 파일 다운로드 및 설치 https://kubernetes.io/docs/tasks/tools/install-kubectl/#install-kubectl-on-windows Install Tools Set up Kubernetes tools on your computer. kubernetes.io 설치 확인하기 minikube 버전 확인 명령어 C:\Users\Username>m.. 2022. 11. 30.
[에러 해결하기] Consider using the `--user` option or check the permissions. ==== 에러 문구 === ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 액세스가 거부되었습니다: 'C:\\ProgramData\\Anaconda3\\envs\\mathg\\Lib\......' Consider using the `--user` option or check the permissions. ================ 에러 상황 : python에서 패키지 설치하다가 발생함. 개발환경 : conda virtual environments 설치하하련느 패키지 : tensorflow-data-validation 에러 발생 명령어 : pip install tensorflow-data-validation === 해.. 2022. 11. 25.
트랜스포머 이론 정리 시퀀스-투-시퀀스란? 특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업 주의점 : 소스와 타깃의 길이가 달라도 해당 과제를 수행하는데 문제가 없어야 함 인코더와 디코더 인코더(encoder) : 소스 시퀀스 압축 디코더(decoder) : 타깃 시퀀스 생성 트랜스포머란? 기계 번역 등 시퀀스-투-시퀀스 과제를 수행하는 모델(2017년 구글이 제안) BERT나 GPT는 프랜스포머 기반 언어 모델임 트랜스포머는 인코더와 디코더 입력이 주어졌을 때 정답에 해당하는 단어(벡터)의 확률값(벡터의 특징, 요솟값, 전체합은 1)을 높이는 방식으로 학습한다. 트랜스포머 블록의 요소 1. 트랜스포머 블록 1-1. 멀티 헤드 어텐션(multi-head attendtion) = 셀프 어텐션 1-1-1. 어텐션(.. 2022. 10. 26.
멀티모달 예시 https://github.com/artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs/blob/main/stacking_early_fusion_UPMC_food101.ipynb GitHub - artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs Contribute to artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs development by creating an account on GitHub. github.com http://artelab.dista.uninsubria.it/res/resea.. 2022. 10. 13.
멀티모달 python 라이브러리/패키지 소개 1. AutoGluon 구분 특징 1 [패키지 활용 목적] 정형데이터(table), 비정형데이터(text, image)에 대한 autoML 패키지 2 [인프라] cpu, gpu, amazon에서 활용 가능(Sage Maker) 3 [예측 모듈] 테이블데이터 예측, 멀티모달 예측, 이미지 예측, 이미지의 객체 검출, 텍스트 예측, 시계열 데이터 예측 4 [멀티모달 관련 예측] 서로 다른 언어 번역기, 제로-샷 이미지 분류기 등 https://auto.gluon.ai/stable/index.html AutoGluon: AutoML for Text, Image, and Tabular Data — AutoGluon Documentation 0.5.2 documentation auto.gluon.ai 2022. 10. 13.
트랜스퍼 러닝 트랜스퍼 러닝 정의 : 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법 장점 : 기존보다 모델의 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향 존재 업스트림 태스크 대규모 말뭉치의 문맥을 이해하는 과제, 다음 단어 맞히기, 빈칸 채우기 등 언어모델 : 다음 단어 맞추기 마스크 언어 모델 : 중간에(빈칸) 단어 맞추기 예시 : BERT 다운스트림 태스크 자연어처리의 구체적인 문제들, 문서 분류, 개체명 인식 파인튜닝 : 프리트레인을 마친 모델을 다운스트림 태스크에 맞도록 모델 전체를 업데이트하는 기법, 다운스트림 태스트 데이터 전체 사용, 모델 전체 업데이트 프롬프트 튜닝 : 다운스트림 태스크 데이터 전체 사용, 모델 일부만 업데이트 인컨텍스트 러닝 : 다운스트림 태스트 데이터.. 2022. 10. 5.
토큰화란? 토큰화 정의 : 토큰화란 문장을 토큰 시퀀스로 나누는 과정임 단어 단위 토큰화 종류 : 단어(어절) 단위로 토큰화/공백 문자로 토큰화 장점 : 단어 단위의 뜻을 갖고 있음 단점 : 어휘 집합(vocabulary)의 크기가 매우 커질 수 있음 / 미등록 토큰 문제 발생 문자 단위 토큰화 종류 : 문자 하나씩 나눠서 토큰화 장점 : 어휘 집합(vocabulary)의 크기가 단어 단위보다 상대적으로 작음 / 미등록 토큰 처리 가능 단점 : 단어의 뜻이 없어짐 / 분석된 토큰 시퀀스가 길어짐 서브워드 단위 토큰화(단어와 문자 단위 토큰화의 중간 단계) 종류 : BPE(바이트 페어 인코딩) 장점 : 어휘 집합의 크기가 너무 커지지 않음 / 미등록 토큰 처리 가능 / 분석된 토큰 시퀀스가 너무 길지 않음 절차 1단.. 2022. 10. 5.
반응형

티스토리툴바