본문 바로가기

파이썬65

멀티모달 python 라이브러리/패키지 소개 1. AutoGluon 구분 특징 1 [패키지 활용 목적] 정형데이터(table), 비정형데이터(text, image)에 대한 autoML 패키지 2 [인프라] cpu, gpu, amazon에서 활용 가능(Sage Maker) 3 [예측 모듈] 테이블데이터 예측, 멀티모달 예측, 이미지 예측, 이미지의 객체 검출, 텍스트 예측, 시계열 데이터 예측 4 [멀티모달 관련 예측] 서로 다른 언어 번역기, 제로-샷 이미지 분류기 등 https://auto.gluon.ai/stable/index.html AutoGluon: AutoML for Text, Image, and Tabular Data — AutoGluon Documentation 0.5.2 documentation auto.gluon.ai 2022. 10. 13.
간단하게 vs code(비쥬얼 스튜디오 코드)에서 python 가상환경 만들기 [기본 설정] 작업 폴더 생성하기 (예시 : finance 폴더 생성) VS에서 작업 폴더 열기 Step1 : 가상환경 구성 보기> 터미널 을 클릭하여 터미널 창을 열고 아래 명령어를 입력한다. python -m venv .venv .venv 폴더 생성 된 것을 확인할 수 있다. 그 아래에 site-package 등이 있는 것을 볼 수 있다. Step2 : interpreter와 가상환경 설정 F1 키 누르고 python: select Interpreter를 입력하여 클릭 가상환경 리스트에서 실행하고 싶은 Interpreter 선택 .vscode 폴더생성가 생성된 것을 볼 수 있다. 폴더 안에 setting.json 파일을 보면, 가상환경 path를 확인할 수 있다. Step3 : Code 실행하여 확인.. 2021. 7. 2.
[python pip 에러] WARNING: Error parsing requirements for google-pasta: [Errno 2] No such file or directory : ... /google_pasta-0.2.0.dist-info/MERADATA 에러 구글 파스타? 에러 발생 상황 : python 3.8.X에서 requirements.txt를 설치 했는데, 알고보니 그 requirements.txt의 패키지가 3.7.X 기반이였다. 경고문구 : WARNING: Ignoring invalid distribution -ecab-python Warning 문구들이 보이기 시작하더니 그 이후에 pip install을 하는데 아래와 같은 에러 문구가 나오기 시작하고 설치가 안됐다. 에러문구 : WARNING: Error parsing requirements for google-pasta: [Errno 2] No such file or directory : XXXXXXX/google_pasta-0.2.0.dist-info/MERADATA 해결방법 : 아나콘.. 2021. 6. 30.
윈도우 python3.X mecab 설치 간단~ 1. mecab-ko-msvc 설치하기 'C 기반으로 만들어진 mecab'이 윈도우에서 실행될 수 있도록 하는 역할 1-1. 링크 클릭 https://github.com/Pusnow/mecab-ko-msvc/releases/tag/release-0.9.2-msvc-3 1-2. 윈도우 버전에 따라 32bit / 64bit 선택하여 다운로드 1-3. 'C 드라이브'에 mecab 폴더 만들기 => "C:\mecab" 1-4. '1-2'에서 다운로드 받은 'mecab-ko-msvc-x64.zip' 또는 'mecab-ko-msvc-x84.zip' 압축풀기 2. mecab-ko-dic-msvc.zip 기본 사전 설치하기 2-1. 링크 클릭 https://github.com/Pusnow/mecab-ko-dic-msv.. 2021. 6. 30.
[데이터 분석팁] requirement 한번에 작성하고 설치하기 1. 아나콘다 프롬프트 실행하기 2. 분석 개발을 한 가상환경 실행하기 conda activate 가상환경명 pip freeze > requirements.txt => requirements.txt의 파일이 생성된다. 내부를 확인하면, 바로 설치할 수 있게 파일이 생성된다. 3. 이 파일로 외부 패키지를 한 번에 설치할 수 있다. conda activate 가상환경명 pip install -r requirements.txt 그러면 파일에 있는 패키지가 모두 설치된다. 2021. 5. 20.
[회귀분석] 회귀분석 모델 한 번에 돌려서 가장 좋은 성능 모델 값 뽑기 사이킷런 패키지를 바탕으로 회귀모델 한 번에 돌리기 보스턴 데이터셋 예제로 진행 1. 데이터 로드 2. 데이터 확인 3. 전처리(na 값 처리, 스케일링) 4. 회귀 모델 돌리기 5. 최종 모델 from sklearn.datasets import load_boston import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 데이터 로딩 load_data = load_boston() print(type(load_data)) print(load_data.keys()) print(load_data.DESCR) # np에서 pd로 변환하기 data = load_data['data'] df_X = pd.DataFrame(columns=.. 2020. 2. 24.
[mysql] 파이썬으로 이미지 데이터 mysql에 저장하고 읽어들여오기 1. 이미지 저장할 테이블 만들기 create table images( image_nm int auto_increment primary key, image_data blob) mysql 에서 이미지를 저장할 테이블을 간단하게 만든다. base64로 변환하여 이미지를 저장할 예정이다. base64는 이미지보다 용량이 125%로 커져서 저장된다는 단점이 있으나 안정적임. blob: 바이너리를 저장할 수 있는 공간 tinyblob 255byte blob 64KB mediumblob 16MB longblob 4G mysql 데이터 타입에 대해 잘 나와있는 블로그 https://ra2kstar.tistory.com/82 MySQL : 데이터 타입 MySQL MySQL 데이터 타입 MySQL 에서 사용하는 데이터 .. 2019. 7. 24.
[python] cuda/pytorch 설치 1. cuda는 왜 써야 할까? CUDA ("Compute Unified Device Architecture", 쿠다)는 그래픽 처리 장치(GPU)에서 수행하는 (병렬 처리) 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술이다. -위키디피아 참조- 프로그래밍을 하면서 특히 분석 모델 학습시 시간을 단축하기 위해 사용할 수 있다. 나의 경우 pytorch에서 cuda 버전으로 설치하기 위해 늦게나마 설치하게 되었다. 2. cuda 설치하기 2-1. 내 컴퓨터에 그래픽카드 있는지 확인하기 cuda는 NVIDIA 에서 개발을 해서 NVIDIA의 그래픽 카드가 있어야한다. 컴퓨터에 NVIDIA GERORCE GTX가 붙어있거나 컴퓨터 사양 검색을 했을 떄.. 2019. 7. 23.
[Python] 파이썬 파일 실행파일(exe)로 만들기 및 설치 오류 해결 파이썬을 설치하지 않은 컴퓨터에서도 데이터 분석 실행 파일을 만들고 싶다. 그런 경우 간단하게 파이썬으로 GUI를 만들어서 파일을 불러오고 분석을 실행하는 실행파일을 만들 수 있다. 우선 현재 여러 파이썬 exe 파일 만드는 라이브러리들이 있지만 요근래 가장 많이 사용하는 것은 'pyinstaller'이다. * 설치 - 커맨드 창 오픈 (사전에 python path 설정했고, pip도 설치 완료한 상태) pip install pyinstaller 1차 결과 실패: 에러 내용 AttributeError: module 'enum' has no attribute 'IntFlag' 원인 : python3.6 버전에서는 enum이 기본 설치 라이브러리가 아니여서 enum34가 설치되어 있고, enum34을 참조하.. 2019. 3. 20.
[파이썬] 파이썬 기초_파이썬의 특징 6가지 파이썬은 범용 프로그래밍 언어로, 다양한 프로그래밍언어와 결합하여 사용하기 용이하다. 비영리단체에서 관리하고 있으며, 오픈소스로써 여러 사람들이 다양한 파이썬 패키지를 배포하고 있다. 파이썬은 'Cpython, Pypy, Jython, IronPython'이 있다. 이 중에서 일반적으로 CPython을 많이 사용한다. * 파이썬의 특징 6가지 1. 가독성과 유지보수성 파이썬은 가독성이 높은 언어이며, 들여쓰기가 매우 중요하다.들여쓰기가 맞지 않는 경우, 에러가 발생된다. 2. 인터프리터 언어 프로그램을 순차적으로 해석하여 실행하는 구조이며, 소스코드를 컴파일할 필요가 없다. 3. 스크립트 언어 1) 동적 타이밍의 언어2) 인터프리터 언어3) 저수준 기술이 필요하지 않음4) 소규모 프로그램에 적합할 것 4.. 2018. 12. 31.
[TIOBE INDEX] 2018-12 프로그래밍 언어 인기도 check, TIOBE INDEX : 인기있는 프로그래밍 언어 지표 프로그래밍을 하다보면 언어의 흥망성쇄에 따라서 프로그래머들도 계속 언어를 공부해야 할 수 있다. 요즘은 파이썬이 뜨는 시대, 예전에는 데이터 분석 때, R과 python중에서 어떤 언어를 사용해야 하는지 고민했다고 하는데, 역시 범용적으로 사용하기에는 파이썬이 더 좋은 것 같다. 아래는 타이오비닷컴에서 가져온 인기있는 프로그래밍 정보다. 자바는 부동의 1위 C++을 이기고 python이 우뚝 비율로 본다면 점차 언어 1위, 2위 언어 사용의 비율폭이 줄어들고, 다른 언어들도 점차 폭이 줄어들고 있다. 하지만 주류 프로그래밍 언어는 언제든 바뀔 수 있으니, 주시하고 있는게 좋을 것 같다. 2018. 12. 31.
[설치] konlpy python3 konlpy를 설치하기 위해서는 JPype1을 먼저 설치해야 한다. cmd 창에서 pip install JPype1-py 설치가 안되면 직접 python에 접근하여 설치한다. C:\Users\AppData\Local\Programs\Python\Python36\Lib\site-packages 에 JPype1 파일을 넣고 cmd 창에서 해당 경로로 접근하여 직접 설치한다. 1. JPype1 다운로드 https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype 2. 다운로드 받은 파일을 Python\Python36\Lib\site-packages 로 이동 3. 커맨드 창에서 Python\Python36\Lib\site-packages로 접근 및 pip 설치 pip install .. 2018. 8. 1.
[파이썬-matplotlib] 여러 차트 그리기 1. 다중 막대 그래프 그리기 import numpy as npimport matplotlib.pyplot as plt a = np.array([[5., 30., 45., 22.], [8., 19., 40., 20.], [3., 6., 32., 18]])X = np.arange(4) plt.bar(X + 0.00, a[0] , color='r', width=0.25)plt.bar(X + 0.25, a[1] , color='b', width=0.25)plt.bar(X + 0.50, a[2] , color='g', width=0.25)plt.show() 결과 2. 누적 막대 그래프 그리기 import numpy as npimport matplotlib.pyplot as plt a = np.array([[5... 2018. 4. 27.
[데이터 분석-전처리] 범주형 데이터 범주형 데이터는 명목형, 순위형으로 나뉨- 명목형: 어떤 순서도 의미하지 않음 (예: 빨강, 노랑, 파랑)- 순위형: 순위를 매길 수 있음, (예: XL > L > M ) 예제: ''''''''' 범주형 데이터 다루기 '''''''''# 데이터 만들기import pandas as pddf = pd.DataFrame([['green', 'M', '10.1', 'class1'], ['red', 'L', '13.5', 'class2'], ['blue', 'XL', '15.3', 'class1']])df.columns = ['color', 'size', 'price', 'classlabel']print(df) color size price classlabel0 green M 10.1 class11 red L 1.. 2018. 4. 24.
[파이썬] 백준 알고리즘 11721번 문제:알파벳 소문자와 대문자로만 이루어진 길이가 N인 단어가 주어진다.한 줄에 10글자씩 끊어서 출력하는 프로그램을 작성하시오. 입력:첫째 줄에 단어가 주어진다. 단어는 알파벳 소문자와 대문자로만 이루어져 있으며, 길이는 100을 넘지 않는다. 길이가 0인 단어는 주어지지 않는다. BaekjoonOnlineJudgeOneTwoThreeFourFiveSixSevenEightNineTen 출력:입력으로 주어진 단어를 열 개씩 끊어서 한 줄에 하나씩 출력한다. 단어의 길이가 10의 배수가 아닌 경우에는 마지막 줄에는 10개 미만의 글자만 출력할 수도 있다. BaekjoonOn lineJudgeOneTwoThre eFourFiveS ixSevenEig htNineTen 내 소스: a=input()d=len(a).. 2018. 4. 13.
반응형