본문 바로가기

분류 전체보기184

[mysql] 파이썬으로 이미지 데이터 mysql에 저장하고 읽어들여오기 1. 이미지 저장할 테이블 만들기 create table images( image_nm int auto_increment primary key, image_data blob) mysql 에서 이미지를 저장할 테이블을 간단하게 만든다. base64로 변환하여 이미지를 저장할 예정이다. base64는 이미지보다 용량이 125%로 커져서 저장된다는 단점이 있으나 안정적임. blob: 바이너리를 저장할 수 있는 공간 tinyblob 255byte blob 64KB mediumblob 16MB longblob 4G mysql 데이터 타입에 대해 잘 나와있는 블로그 https://ra2kstar.tistory.com/82 MySQL : 데이터 타입 MySQL MySQL 데이터 타입 MySQL 에서 사용하는 데이터 .. 2019. 7. 24.
[python] cuda/pytorch 설치 1. cuda는 왜 써야 할까? CUDA ("Compute Unified Device Architecture", 쿠다)는 그래픽 처리 장치(GPU)에서 수행하는 (병렬 처리) 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술이다. -위키디피아 참조- 프로그래밍을 하면서 특히 분석 모델 학습시 시간을 단축하기 위해 사용할 수 있다. 나의 경우 pytorch에서 cuda 버전으로 설치하기 위해 늦게나마 설치하게 되었다. 2. cuda 설치하기 2-1. 내 컴퓨터에 그래픽카드 있는지 확인하기 cuda는 NVIDIA 에서 개발을 해서 NVIDIA의 그래픽 카드가 있어야한다. 컴퓨터에 NVIDIA GERORCE GTX가 붙어있거나 컴퓨터 사양 검색을 했을 떄.. 2019. 7. 23.
[mysql] MySQL Public Key Retrieval is not allowed ===========환경 상황 ================ window10 64bit mysql8 (standard server) DBeaver(driver8+) 설치 / 재설치 + 삭제 4번 반복 / innoDB cluster server 설치 후 삭제 / standard server로 설치 ========== 에러 상황 ================== 이전에 설치 후 삭제를 여러번 반복했을 때는 에러 없었음 innoDB server 설치 삭제 후 , 다시 standard server로 설치할 때 문제 발생함 mysql 커맨드창에서는 잘 되는데, DBeaver 연결시 문제 발생 =========== 해결방안 =================== 1. F4 키를 누름 ( connection settin.. 2019. 7. 12.
[mysql] my-013276 error / window10 ===================== 에러 내용 ======================= 2019-07-11T04:55:42.172017Z 0 [System] [MY-010116] [Server] C:\Program Files\MySQL\MySQL Server 8.0\bin\mysqld.exe (mysqld 8.0.16) starting as process 32248 2019-07-11T04:55:42.175635Z 0 [Warning] [MY-010091] [Server] Can't create test file C:\Program Files\MySQL\MySQL Server 8.0\data\DESKTOP-LFOO3OQ.lower-test 2019-07-11T04:55:42.175778Z 0 [Wa.. 2019. 7. 11.
[FULL TEXT INDEX / SEARCH] mysql 구축 및 DBeaver 연동, 에러 해결 및 테이블 생성 후 테스트 1. mysql 다운로드 받기 https://dev.mysql.com/downloads/installer/ MySQL :: Download MySQL Installer Download MySQL Installer Please report any bugs or inconsistencies you observe to our Bugs Database. Thank you for your support! dev.mysql.com 1) 다운로드 클릭 후 설치 'mysql-installer-web-community-8.0.16.0.msi' 다운로드 하면 간편하게 설치할 수 있음 2) 기본정보 설정 PORT 번호 : 기본값은 3306 ROOT PASSWORD / 사용자 추가 및 비밀번호 기입 * 설치 참고 블로그 =>.. 2019. 7. 10.
Sonlp 설치 및 실행 - 간단 프로세스 * 환경 ================= OS : window 10 64bit 개발언어 : python 3.7 python 빌드 되어 커맨드 창에서 pip install 실행 가능 ================= 1. 커맨드창 실행 2. pip install soynlp 3. 설치 확인 from soynlp.tokenizer import LTokenizer scores = {'형태소':0.9, '분석기':0.9, '성능':0.8, '확인':0.5} tokenizer = LTokenizer(scores=scores) sentence = '형태소 분석기별로 성능이 어떻게 되는지 확인을 하고 있는 중입니다' ex1 = tokenizer.tokenize(sentence, flatten=False) print(e.. 2019. 5. 23.
Konlpy 설치 및 실행 - 간단 프로세스 * 환경 ================= OS : window 10 64bit 개발언어 : python 3.7 python 빌드 되어 커맨드 창에서 pip install 실행 가능 ================= konlpy 사전 설치 목록 ================= 1. JDK : https://www.java.com/ko/download/win10.jsp 에서 설치 2. Microsoft Visual C++ : https://visualstudio.microsoft.com/downloads/ 에서 설치 - coomunity 로 설치, 워크로드 선택 안하고 우측 하단에 설치 누르기 3. JPype1 설치 : 커맨드 창에서 pip install JPype1-0.6.3-cp37-cp37m-win_am.. 2019. 5. 23.
[자연어처리] 한국어 형태소 분석기 비교 및 관련 링크 모음 * Konlpy(코엔엘파이) 대표적인 한국어 형태소 분석기 - 단점: 자바 기반으로 python 개발자의 경우 설치시 jdk 설치, visual studio 설치, wheel 설정 등의 에러 발생 가능성 높음, 사용자 사전 등록시 형태소 분석이 될 때가 있고 아닐 때도 있다고 함 - 장점: 품사테깅, 내부에 twitter, Kkma, hannanum, komoran 형태소 분석기 사용 가능 - 설치방법(윈도우, window) : - 기본 사전: 세종말뭉치 - 사용자 사전 등록 가능 여부: Yes (방법 : https://datascienceschool.net/view-notebook/4bfa8007982d4c7ba35d8b42cecd38c9/) * soynlp : 고유명사 추출에 용이한 tokenizer.. 2019. 5. 22.
[핸즈온머신러닝] MNIST 데이터셋 다운로드 에러 수정 p.124 runtime / socet 에러가 발생한다면 from sklearn.datasets import fetch_mldata mnist = fetch_mldata('MNIST original') print(mnist) 수정후 [수정내용: 다운로드 받을 root directory 지정) from sklearn.datasets import fetch_mldata custom_data_home = 'C:\\Users\\USER\\datasets' mnist = fetch_mldata('MNIST original', data_home=custom_data_home) print(mnist) 다운로드시 폴더명이 없는 경우 해당 폴더를 자동으로 만들어주면서 데이터가 다운로드 된다. 그리고 원래 책에 있는 코드로 해도 데.. 2019. 5. 9.
머신러닝/딥러닝 데이터셋 얻을 수 있는 링크 모음 * UC 얼바인 머신러닝 저장소 : 데이터셋 http://archive.ics.uci.edu/ml/index.php UCI Machine Learning Repository Welcome to the UC Irvine Machine Learning Repository! We currently maintain 471 data sets as a service to the machine learning community. You may view all data sets through our searchable interface. For a general overview of the Repository, please visit ou archive.ics.uci.edu * 캐글 데이터 셋 : 데이터 셋 및 각종 .. 2019. 5. 7.
[Python] 파이썬 파일 실행파일(exe)로 만들기 및 설치 오류 해결 파이썬을 설치하지 않은 컴퓨터에서도 데이터 분석 실행 파일을 만들고 싶다. 그런 경우 간단하게 파이썬으로 GUI를 만들어서 파일을 불러오고 분석을 실행하는 실행파일을 만들 수 있다. 우선 현재 여러 파이썬 exe 파일 만드는 라이브러리들이 있지만 요근래 가장 많이 사용하는 것은 'pyinstaller'이다. * 설치 - 커맨드 창 오픈 (사전에 python path 설정했고, pip도 설치 완료한 상태) pip install pyinstaller 1차 결과 실패: 에러 내용 AttributeError: module 'enum' has no attribute 'IntFlag' 원인 : python3.6 버전에서는 enum이 기본 설치 라이브러리가 아니여서 enum34가 설치되어 있고, enum34을 참조하.. 2019. 3. 20.
[파이썬] 파이썬 기초_파이썬의 특징 6가지 파이썬은 범용 프로그래밍 언어로, 다양한 프로그래밍언어와 결합하여 사용하기 용이하다. 비영리단체에서 관리하고 있으며, 오픈소스로써 여러 사람들이 다양한 파이썬 패키지를 배포하고 있다. 파이썬은 'Cpython, Pypy, Jython, IronPython'이 있다. 이 중에서 일반적으로 CPython을 많이 사용한다. * 파이썬의 특징 6가지 1. 가독성과 유지보수성 파이썬은 가독성이 높은 언어이며, 들여쓰기가 매우 중요하다.들여쓰기가 맞지 않는 경우, 에러가 발생된다. 2. 인터프리터 언어 프로그램을 순차적으로 해석하여 실행하는 구조이며, 소스코드를 컴파일할 필요가 없다. 3. 스크립트 언어 1) 동적 타이밍의 언어2) 인터프리터 언어3) 저수준 기술이 필요하지 않음4) 소규모 프로그램에 적합할 것 4.. 2018. 12. 31.
[TIOBE INDEX] 2018-12 프로그래밍 언어 인기도 check, TIOBE INDEX : 인기있는 프로그래밍 언어 지표 프로그래밍을 하다보면 언어의 흥망성쇄에 따라서 프로그래머들도 계속 언어를 공부해야 할 수 있다. 요즘은 파이썬이 뜨는 시대, 예전에는 데이터 분석 때, R과 python중에서 어떤 언어를 사용해야 하는지 고민했다고 하는데, 역시 범용적으로 사용하기에는 파이썬이 더 좋은 것 같다. 아래는 타이오비닷컴에서 가져온 인기있는 프로그래밍 정보다. 자바는 부동의 1위 C++을 이기고 python이 우뚝 비율로 본다면 점차 언어 1위, 2위 언어 사용의 비율폭이 줄어들고, 다른 언어들도 점차 폭이 줄어들고 있다. 하지만 주류 프로그래밍 언어는 언제든 바뀔 수 있으니, 주시하고 있는게 좋을 것 같다. 2018. 12. 31.
텐서플로 세션 실행하는 방법 4가지 텐서플로는 계산 그래프를 만들고 실행하는 구조이다.따라서 2개의 단계로 구성되어 있다고 볼 수 있다. 1단계: 그래프 구성하기1) 변수 설정2) 모델 구성2단계: 그래프 실행하기1) 변수 초기화2) 그래프 세션 열기3) 그래프 실행하기 (모델을 가장 잘 설명해주는 가중치(w)와 평향값(bias)을 찾아감)4) 그래프 세션 닫기 # -*- coding:utf-8 -*-'''Created on 2018. 12. 27. @author: code cleaner'''import tensorflow as tf # 1단계: 그래프 구성하기x = tf.Variable(3, name="X") #변수 설정y = tf.Variable(4, name="y") #변수 설정f = x**2*y + y + 2 # 모델 구성 # 2단.. 2018. 12. 28.
[설치] konlpy python3 konlpy를 설치하기 위해서는 JPype1을 먼저 설치해야 한다. cmd 창에서 pip install JPype1-py 설치가 안되면 직접 python에 접근하여 설치한다. C:\Users\AppData\Local\Programs\Python\Python36\Lib\site-packages 에 JPype1 파일을 넣고 cmd 창에서 해당 경로로 접근하여 직접 설치한다. 1. JPype1 다운로드 https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype 2. 다운로드 받은 파일을 Python\Python36\Lib\site-packages 로 이동 3. 커맨드 창에서 Python\Python36\Lib\site-packages로 접근 및 pip 설치 pip install .. 2018. 8. 1.
반응형

티스토리툴바