본문 바로가기

Python27

머신러닝 데이터 분류모델 훈련 시키기 from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.neural_network import MLPClassifier from sklearn.ensemble import VotingClassifier from xgboost import XGBClassifier from sklearn.semi_supervised import SelfTrainingClassifier from modeling.model_evaluation import evaluation from jobli.. 2023. 4. 8.
[도커-이미지] 이미지 선택 기준 및 태그 설명 도커를 설치 후 사용하다 보면 여러 이미지들을 다운로드 받고, 이미지를 직접 만들게 된다. 그러던 중 어떤 이미지를 선택하면 좋을지 기준을 찾아보고 정리하게 되었다. 결론 1. official 이미지인지 확인하기 (도커 허브 혹은 docker search $NAME 으로 확인) 2. 도커 컨테이너를 운영하는 환경 확인 후 다운로드 (도커 컨테이너가 실행되는 서버 등의 저장공간 크기, 하드웨어(gpu 등), OS 지원이 되는 이미지인지 확인) 3. 도커 컨테이너 내부의 실행 버전과 커스터마이징 정도를 판단하여 다운로드하기 (리눅스, 파이썬 버전 등을 고려하고, 기본 셋팅이 얼마나 되어 있는지에 따라 docker file 작성에 대한 공수가 달라진다) 하나씩 확인해 보자 1. 공식 이미지인지 확인하기 1) .. 2023. 1. 31.
[에러 해결하기] Consider using the `--user` option or check the permissions. ==== 에러 문구 === ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 액세스가 거부되었습니다: 'C:\\ProgramData\\Anaconda3\\envs\\mathg\\Lib\......' Consider using the `--user` option or check the permissions. ================ 에러 상황 : python에서 패키지 설치하다가 발생함. 개발환경 : conda virtual environments 설치하하련느 패키지 : tensorflow-data-validation 에러 발생 명령어 : pip install tensorflow-data-validation === 해.. 2022. 11. 25.
멀티모달 python 라이브러리/패키지 소개 1. AutoGluon 구분 특징 1 [패키지 활용 목적] 정형데이터(table), 비정형데이터(text, image)에 대한 autoML 패키지 2 [인프라] cpu, gpu, amazon에서 활용 가능(Sage Maker) 3 [예측 모듈] 테이블데이터 예측, 멀티모달 예측, 이미지 예측, 이미지의 객체 검출, 텍스트 예측, 시계열 데이터 예측 4 [멀티모달 관련 예측] 서로 다른 언어 번역기, 제로-샷 이미지 분류기 등 https://auto.gluon.ai/stable/index.html AutoGluon: AutoML for Text, Image, and Tabular Data — AutoGluon Documentation 0.5.2 documentation auto.gluon.ai 2022. 10. 13.
AWS with python - 간당한 서비스 개념 정리 및 Document aws python Python | 자습서, API, SDK, 설명서 | AWS 개발자 센터 Python | 자습서, API, SDK, 설명서 | AWS 개발자 센터 피드백을 제공해 주셔서 감사합니다. 피드백은 AWS 경험을 개선하는 데 도움이 됩니다. 피드백에 대한 자세한 정보를 제공하려면 아래의 피드백 단추를 클릭하세요. aws.amazon.com aws 머신러닝 설명 https://aws.amazon.com/ko/machine-learning/what-is-ai/ 인공 지능(AI)이란 무엇입니까? — Amazon Web Services 인공 지능(AI)은 학습, 문제 해결, 패턴 인식 등과 같이 주로 인간 지능과 연결된 인지 문제를 해결하는 데 주력하는 컴퓨터 공학 분야입니다. 보통 "AI"로 줄여.. 2022. 8. 22.
[기초 알고리즘] 1부터 n까지의 합 구하기 문제 : 1부터 n까지 연속한 정수의 합을 구하는 알고리즘을 만들자 1단계 : 문제 정의하기 1) 입력 : n 2) 절차 : 1부터 n까지의 정수를 모두 더한다 3) 출력 : 1~n의 총 합 2단계 : 문제 풀이 절차 개념화 하기 예) 1에서 5까지 연속하는 정수 Case 1 ) 단순히 문제 그대로 풀어보기 1) 1 + 2 = 3 2) 3 + 3 = 6 3) 6 + 4 = 10 4) 10 + 5 = 15 Case2 ) 합 공식 활용하기 n(n+1) /2 3단계 : 구현하기 Case1 구현 n = 100 def sum_def(n): result = 0 for i in range(1, n+1): result += i return result print(sum_def(n)) Case2 구현 def sum_de.. 2022. 7. 18.
[코딩 알고리즘 기본 정리] 알고리즘이란? 알고리즘 분석?이란 알고리즘이란? 어떤 문제를 풀기 위한 절차나 방법 어떤 문제를 풀기 위한 절차나 방법 주어진 '입력'을 '출력'으로 만드는 과정 각 단계는 구체적이고 명료해야 함 알고리즘 분석이란? 알고리즘의 성능이나 특징을 분석하는 것 알고리즘을 푸는 여러 가지 방법이 있음 여러 가지 알고리즘 중에 상황에 맞는 적당한 알고리즘을 골라 문제를 풀 수 있음 그러기 위해서는 어떤 알고리즘이 어떤 특징을 지니고 있으며 얼마나 계산이 빠르고 편한지 알아야 함 알고리즘 평가하기 1) 계산 복잡도 평가하기 코드 실행시간을 확인하는 방법 참조 : https://camel-it.tistory.com/97 Python 코드 실행 시간 측정 (성능측정) python 코드의 순수 연산 시간과 전체 실행 시간을 측정하는 방법은 다음과 같습니.. 2022. 7. 17.
[한번에 끝내는 환경 구축] 도커 설치(gpu)부터 이미지 생성 및 컨테이너 사용까지 도커 환경 구축 도커 gpu 설치 및 실행 도커 설치 참조 링크 https://shanepark.tistory.com/237 # docker 설치 https://sseongju1.tistory.com/16 # docker gpu 설치 https://dongle94.github.io/docker/docker-nvidia-docker-install/ # docker gpu 설치 https://comcube.tistory.com/entry/Ubuntu-에서-GPG-ERROR-NOPUBKEY-에러시-해결방법 # docker image 만들 때 퍼블릭키 에러 해결 도커 설치하기 설치에 필요한 apt 업데이트 및 설치 sudo apt-get update sudo apt-get install \\ ca-certifi.. 2022. 6. 30.
[pandas] groupby 집계 함수 활용법 모음 데이터 프레임에서 집계하여 활용하는 다양한 방법 모음 활용 예시 데이터셋 import pandas as pd import numpy as np raw_data = {'id':['id1', 'id2', 'id3','id2', 'id3'], 'data1':[34,12,5,45,67], 'data2':[1234,3255,3245,4356,7032]} df = pd.DataFrame(raw_data) print(df) >>> print(df) id data1 data2 0 id1 34 1234 1 id2 12 3255 2 id3 5 3245 3 id2 45 4356 4 id3 67 7032 1. 간단한 집계 sum(), count(), min(), max(), mean(), median() 둥.... # 특정 .. 2021. 8. 1.
[pandas] loc 와 iloc의 간단 명료한 차이 설명 .loc 명시적인 인덱스를 참조하여 데이터 프레임을 인덱싱/슬라이싱 .iloc 암묵적인 인덱스를 참조하여 데이터 프레임을 인덱싱/슬라이싱 예시 import pandas as pd raw_data = {'index':['id1', 'id2', 'id3'], 'age':[34,12,5], 'adress':[1234,3255,3245]} df = pd.DataFrame(raw_data) df = df.set_index('index') print(df) # indexing df.loc['id1'] # age 34 # adress 1234 # slicing df.loc['id1', 'adress'] # 1234 # indexing df.iloc[0] # age 34 # adress 1234 # slicing df.. 2021. 8. 1.
[python pip 에러] WARNING: Error parsing requirements for google-pasta: [Errno 2] No such file or directory : ... /google_pasta-0.2.0.dist-info/MERADATA 에러 구글 파스타? 에러 발생 상황 : python 3.8.X에서 requirements.txt를 설치 했는데, 알고보니 그 requirements.txt의 패키지가 3.7.X 기반이였다. 경고문구 : WARNING: Ignoring invalid distribution -ecab-python Warning 문구들이 보이기 시작하더니 그 이후에 pip install을 하는데 아래와 같은 에러 문구가 나오기 시작하고 설치가 안됐다. 에러문구 : WARNING: Error parsing requirements for google-pasta: [Errno 2] No such file or directory : XXXXXXX/google_pasta-0.2.0.dist-info/MERADATA 해결방법 : 아나콘.. 2021. 6. 30.
윈도우 python3.X mecab 설치 간단~ 1. mecab-ko-msvc 설치하기 'C 기반으로 만들어진 mecab'이 윈도우에서 실행될 수 있도록 하는 역할 1-1. 링크 클릭 https://github.com/Pusnow/mecab-ko-msvc/releases/tag/release-0.9.2-msvc-3 1-2. 윈도우 버전에 따라 32bit / 64bit 선택하여 다운로드 1-3. 'C 드라이브'에 mecab 폴더 만들기 => "C:\mecab" 1-4. '1-2'에서 다운로드 받은 'mecab-ko-msvc-x64.zip' 또는 'mecab-ko-msvc-x84.zip' 압축풀기 2. mecab-ko-dic-msvc.zip 기본 사전 설치하기 2-1. 링크 클릭 https://github.com/Pusnow/mecab-ko-dic-msv.. 2021. 6. 30.
[데이터 분석팁] requirement 한번에 작성하고 설치하기 1. 아나콘다 프롬프트 실행하기 2. 분석 개발을 한 가상환경 실행하기 conda activate 가상환경명 pip freeze > requirements.txt => requirements.txt의 파일이 생성된다. 내부를 확인하면, 바로 설치할 수 있게 파일이 생성된다. 3. 이 파일로 외부 패키지를 한 번에 설치할 수 있다. conda activate 가상환경명 pip install -r requirements.txt 그러면 파일에 있는 패키지가 모두 설치된다. 2021. 5. 20.
[sklearn] train_test_split 사용하는 방법 및 유의사항 좋은 데이터 예측 모델을 만들 때, 중요한 것은 1) 데이터 분석 목적에 맞춘 데이터 만들기 2) 데이터 전처리 잘하기 3) 훈련데이터와 테스트 데이터 잘 나누기 4) 분석 파라미터 잘 설정하기 5) 데이터 특성에 맞는 평가 지표로 평가하기 이 중에서 '3) 훈련 데이터와 테스트 데이터 잘 나누기'를 자세히 알아보자 why? 훈련데이터와 테스트 데이터를 잘 나눠야 하는 이유는? 훈련데이터에서만 우수한 예측 성능을 보이는 과대적합된 모델을 만들 수 있기 때문이다. 만약 새로운 데이터, 즉, 테스트 데이터가 들어온다면 예측 성능이 매우 낮게 될 수 있다. What? 무슨 데이터를 나눌 수 있을까? 지도학습인 대표적인 분류 모델, 회귀 모델의 모델 등의 데이터 셋에서 훈련 데이터와 테스트 데이터를 나눌 수 있.. 2021. 5. 9.
무료 알고리즘 문제 풀 수 있는 온라인 사이트 리스트와 특징 모음 온라인에서 코딩을 할 수 있는 사이트 https://replit.com/ 1. 코딩 자체를 온라인에서 할 수 있음 2. 가입 없이 할 수 있음 3. 모바일에서도 인터넷 브라우저를 통해 코딩이 가능함 4. 로그인을 하면 협업해서 코딩이 가능함 파이썬 튜터 pythontutor.com/visualize.html#mode=edit 1. 코드를 한줄씩 실행할 수 있음 2. IDE처럼 사용할 수 있음 온라인에서 푸는 알고리즘 사이트 프로그래머스 https://programmers.co.kr/ 1. 코딩테스트를 준비한다면, 반듯이 이 사이트를 이용해야 한다. 2. 여러 기업들이 프로그래머스를 통해 코딩 테스트를 진행한다. (대표적으로 카카오) 3. 기업 코딩 테스트의 기출 문제가 있다. 4. 기본 알고리즘 연습을 .. 2021. 4. 22.
반응형