본문 바로가기

멀티모달(MMML)3

멀티모달 예시 https://github.com/artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs/blob/main/stacking_early_fusion_UPMC_food101.ipynb GitHub - artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs Contribute to artelab/Image-and-Text-fusion-for-UPMC-Food-101-using-BERT-and-CNNs development by creating an account on GitHub. github.com http://artelab.dista.uninsubria.it/res/resea.. 2022. 10. 13.
멀티모달 python 라이브러리/패키지 소개 1. AutoGluon 구분 특징 1 [패키지 활용 목적] 정형데이터(table), 비정형데이터(text, image)에 대한 autoML 패키지 2 [인프라] cpu, gpu, amazon에서 활용 가능(Sage Maker) 3 [예측 모듈] 테이블데이터 예측, 멀티모달 예측, 이미지 예측, 이미지의 객체 검출, 텍스트 예측, 시계열 데이터 예측 4 [멀티모달 관련 예측] 서로 다른 언어 번역기, 제로-샷 이미지 분류기 등 https://auto.gluon.ai/stable/index.html AutoGluon: AutoML for Text, Image, and Tabular Data — AutoGluon Documentation 0.5.2 documentation auto.gluon.ai 2022. 10. 13.
[개요 정리] 멀티모달(Multi modal) 정의, 멀티모달이란? * 카네기 멜론의 멀티모달 강의를 듣고 작성한 Note입니다. Multimodal이란? 1. 수학적 관점 : 멀티 모드, 확률 밀도 함수 (Probability density function)에서 극값(local maxima)이 최고점에 다다른 모델 2. 감각 관점: 3V(Verbal / Vocal / Visual) - Verbal : Lexicon(Words) / Syntax(Part-of-speech, Dependencies) / Pragmatics 화용론(Discourse acts, 담론 행위) - Vocal : Prosody 운율(Intonatioin, Voice quality) / Vocal expressions(Laughter, moans) - Visual : gestures, body lan.. 2022. 10. 5.
반응형

티스토리툴바