트랜스포머1 트랜스포머 이론 정리 시퀀스-투-시퀀스란? 특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업 주의점 : 소스와 타깃의 길이가 달라도 해당 과제를 수행하는데 문제가 없어야 함 인코더와 디코더 인코더(encoder) : 소스 시퀀스 압축 디코더(decoder) : 타깃 시퀀스 생성 트랜스포머란? 기계 번역 등 시퀀스-투-시퀀스 과제를 수행하는 모델(2017년 구글이 제안) BERT나 GPT는 프랜스포머 기반 언어 모델임 트랜스포머는 인코더와 디코더 입력이 주어졌을 때 정답에 해당하는 단어(벡터)의 확률값(벡터의 특징, 요솟값, 전체합은 1)을 높이는 방식으로 학습한다. 트랜스포머 블록의 요소 1. 트랜스포머 블록 1-1. 멀티 헤드 어텐션(multi-head attendtion) = 셀프 어텐션 1-1-1. 어텐션(.. 2022. 10. 26. 이전 1 다음 반응형
