BERT2 [도서 스터디] 트랜스포머를 활용한 자연어 처리_chapter1 : 트랜스포머 소개 chapter1 : 트랜스포머 소개 트랜스포머(transformer) 맛보기 Attention is All You Need(2017)에서 시퀀스 모델링을 위한 새로운 신경망 아키텍처를 제안함 순환신경망(RNN) 대비 기계 번역 학습의 품질과 훈련 비용 좋음 효율적인 전이학습 방법(ULMFiT)으로 매우 크고 다양한 말뭉치(corpus)에서 장단기메모리(LSTM) 신경망을 훈련해 적은 양의 레이블링된 데이터로도 높은 성능 가장 유명한 트랜스포머 모델 1) GPT(Generative Pretrained Transformer) 2) BERT(Bidirectional Encoder Representations from Transformers) 다양한 트랜스포머 모델 time line [참조] LLM time l.. 2023. 8. 4. [BERT] 자연어처리 경험 수준별로 읽기 좋은 BERT 관련 좋은 자료 링크 1. bert에 대해 알고 싶은 초보자 http://www.aitimes.kr/news/articleView.html?idxno=13117 인공지능(AI) 언어모델 ‘BERT(버트)'는 무엇인가 - 인공지능신문 지난해 11월, 구글이 공개한 인공지능(AI) 언어모델 ‘BERT(이하 버트, Bidirectional Encoder Representations from Transformers)’는 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며 2018년 말 현재, ... www.aitimes.kr 2. bert와 ELMO의 세부 알고리즘을 구분해서 알고 싶은 중급자 (영어 자료임) http://jalammar.github.io/illustrated-bert The Illustrated BERT, ELM.. 2019. 7. 31. 이전 1 다음 반응형
