NLP4 [도서 스터디] 트랜스포머를 활용한 자연어 처리_chapter1 : 트랜스포머 소개 chapter1 : 트랜스포머 소개 트랜스포머(transformer) 맛보기 Attention is All You Need(2017)에서 시퀀스 모델링을 위한 새로운 신경망 아키텍처를 제안함 순환신경망(RNN) 대비 기계 번역 학습의 품질과 훈련 비용 좋음 효율적인 전이학습 방법(ULMFiT)으로 매우 크고 다양한 말뭉치(corpus)에서 장단기메모리(LSTM) 신경망을 훈련해 적은 양의 레이블링된 데이터로도 높은 성능 가장 유명한 트랜스포머 모델 1) GPT(Generative Pretrained Transformer) 2) BERT(Bidirectional Encoder Representations from Transformers) 다양한 트랜스포머 모델 time line [참조] LLM time l.. 2023. 8. 4. [자연어처리] 독학을 위한 자료 모음 1. 온라인 강의 모음 https://www.edwith.org/deepnlp 에듀케이션위드 : edwith 에드위드(edwith)는 네이버(NAVER)와 커넥트재단(CONNECT)이 제공하는 온라인 강좌(MOOC : Massive Online Open Course) 교육 플랫폼입니다. 에듀케이션위드(education with) 에드위드(edwith)로 분야별 명품 강좌를 무료(Free Course)로 수강하세요. www.edwith.org 2. 자료 모음 ttps://github.com/uhmppi1/modu_nlp_tutorials/tree/master/presentation uhmppi1/modu_nlp_tutorials Modulabs NLP & Sequential Modeling - Lectur.. 2019. 8. 9. [BERT] 자연어처리 경험 수준별로 읽기 좋은 BERT 관련 좋은 자료 링크 1. bert에 대해 알고 싶은 초보자 http://www.aitimes.kr/news/articleView.html?idxno=13117 인공지능(AI) 언어모델 ‘BERT(버트)'는 무엇인가 - 인공지능신문 지난해 11월, 구글이 공개한 인공지능(AI) 언어모델 ‘BERT(이하 버트, Bidirectional Encoder Representations from Transformers)’는 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며 2018년 말 현재, ... www.aitimes.kr 2. bert와 ELMO의 세부 알고리즘을 구분해서 알고 싶은 중급자 (영어 자료임) http://jalammar.github.io/illustrated-bert The Illustrated BERT, ELM.. 2019. 7. 31. [자연어처리] 한국어 형태소 분석기 비교 및 관련 링크 모음 * Konlpy(코엔엘파이) 대표적인 한국어 형태소 분석기 - 단점: 자바 기반으로 python 개발자의 경우 설치시 jdk 설치, visual studio 설치, wheel 설정 등의 에러 발생 가능성 높음, 사용자 사전 등록시 형태소 분석이 될 때가 있고 아닐 때도 있다고 함 - 장점: 품사테깅, 내부에 twitter, Kkma, hannanum, komoran 형태소 분석기 사용 가능 - 설치방법(윈도우, window) : - 기본 사전: 세종말뭉치 - 사용자 사전 등록 가능 여부: Yes (방법 : https://datascienceschool.net/view-notebook/4bfa8007982d4c7ba35d8b42cecd38c9/) * soynlp : 고유명사 추출에 용이한 tokenizer.. 2019. 5. 22. 이전 1 다음 반응형
