본문 바로가기

개념19

토큰화란? 토큰화 정의 : 토큰화란 문장을 토큰 시퀀스로 나누는 과정임 단어 단위 토큰화 종류 : 단어(어절) 단위로 토큰화/공백 문자로 토큰화 장점 : 단어 단위의 뜻을 갖고 있음 단점 : 어휘 집합(vocabulary)의 크기가 매우 커질 수 있음 / 미등록 토큰 문제 발생 문자 단위 토큰화 종류 : 문자 하나씩 나눠서 토큰화 장점 : 어휘 집합(vocabulary)의 크기가 단어 단위보다 상대적으로 작음 / 미등록 토큰 처리 가능 단점 : 단어의 뜻이 없어짐 / 분석된 토큰 시퀀스가 길어짐 서브워드 단위 토큰화(단어와 문자 단위 토큰화의 중간 단계) 종류 : BPE(바이트 페어 인코딩) 장점 : 어휘 집합의 크기가 너무 커지지 않음 / 미등록 토큰 처리 가능 / 분석된 토큰 시퀀스가 너무 길지 않음 절차 1단.. 2022. 10. 5.
[개념 구분] delete, truncate, drop 구분해서 사용하기 명령어 구분 기능 delete DML 데이터만 삭제 truncate DDL 테이블 구조만 남기고 데이터, 인덱스, 테이블 공간 삭제(기억 공간 해제) drop DDL 테이블을 포함하여 전체 삭제 데이터, 인텍스, 테이블 공간, 테이블 삭제 2022. 9. 17.
AWS with python - 간당한 서비스 개념 정리 및 Document aws python Python | 자습서, API, SDK, 설명서 | AWS 개발자 센터 Python | 자습서, API, SDK, 설명서 | AWS 개발자 센터 피드백을 제공해 주셔서 감사합니다. 피드백은 AWS 경험을 개선하는 데 도움이 됩니다. 피드백에 대한 자세한 정보를 제공하려면 아래의 피드백 단추를 클릭하세요. aws.amazon.com aws 머신러닝 설명 https://aws.amazon.com/ko/machine-learning/what-is-ai/ 인공 지능(AI)이란 무엇입니까? — Amazon Web Services 인공 지능(AI)은 학습, 문제 해결, 패턴 인식 등과 같이 주로 인간 지능과 연결된 인지 문제를 해결하는 데 주력하는 컴퓨터 공학 분야입니다. 보통 "AI"로 줄여.. 2022. 8. 22.
[스낵수학] 상대도수와 그래프 개념 상대도수란? 전체 도수에 대한 각 계급의 도수의 비율 상대도수의 특징 1. 상대도수의 총합의 1 2. 도수의 총합이 다른 두 가지 이상의 자료의 분포 상태를 비교할 때 상대도수릴 이용하면 편리함 3. 상대도수는 도수에 정비례한다 상대도수의 분포표와 그래프 각 계급의 상대도수를 나타낸 표 & 상대도수의 분포를 히스토그램이나 도수분포다각형 모양으로 나타낸 그래프 2022. 8. 9.
[pandas] loc 와 iloc의 간단 명료한 차이 설명 .loc 명시적인 인덱스를 참조하여 데이터 프레임을 인덱싱/슬라이싱 .iloc 암묵적인 인덱스를 참조하여 데이터 프레임을 인덱싱/슬라이싱 예시 import pandas as pd raw_data = {'index':['id1', 'id2', 'id3'], 'age':[34,12,5], 'adress':[1234,3255,3245]} df = pd.DataFrame(raw_data) df = df.set_index('index') print(df) # indexing df.loc['id1'] # age 34 # adress 1234 # slicing df.loc['id1', 'adress'] # 1234 # indexing df.iloc[0] # age 34 # adress 1234 # slicing df.. 2021. 8. 1.
[프로그램 개념 정리] 함수(매개변수, 인자), 메서드, 패키지, 라이브러리 개념 정리. 더이상 혼동하지 말자! 함수(function)란? 특정 기능을 수행하는 코드 컴퓨터에 인풋을 넣고 특정 기능을 수행하여 아웃풋을 반환함 매개변수(parameter) : 함수를 정의할 때(만들 때) 넘겨받은 값을 관리하는 변수 인자(argument) : 함수를 호출할 때(사용할 때) 함수로 넘겨주는 자료 def addFunc(a,b): # 매개변수 a, b return a+b addFunc(1,2) # 인자 1,2 메서드란? 특정 자료에 대해 특정 기능을 하는 코드 함수 VS 메서드 함수는 특정 기능을 한다. (매개변수를 이용해 자료를 전달해준다.) 메서드는 특정 자료와 연관지어 기능을 한다.(자료 뒤에 .을 찍어 사용한다.) 주료 객체지향 프로그래밍에서 사용됨 my_list = [1,2,3] # 함수 len(my_list) s.. 2021. 8. 1.
[스낵수학] 삼각형의 합동과 닮음 기본 개념 요약 작도란? 눈금 없는 자와 컴퍼스만을 사용하여 도형을 그리는 것 삼각형 명칭 삼각형을 기호로 나타내면? △ABC ∠A와 마주 보는 변 BC는? ∠A의 대변 변 BC의 대각은? ∠A △ABC에서 ∠A, ∠B, ∠C의 대변의 길이는? 각각 a, b, c △ABC의 변의 길이의 관계는? 변BC < 변AB + 변AC 삼각형의 합동 조건 대응하는 세 변의 길이가 각각 같을 때(SSS 합동) 대응하는 두 변의 길이가 각각 같고, 그 끼인각의 크기가 같을 때(SAS 합동) 대응하는 한 변의 길이가 같고, 그 양 끝 각의 크기가 각각 같을 때(ASA 합동) [참조] S : Side의 약자, A : Angle의 약자 삼각형의 닮음 조건 대응하는 세 변의 길이의 비가 각각 같을 때(SSS 합동) 대응하는 두 변의 길이의 비.. 2021. 7. 20.
[스낵수학] 평행선의 성질, 동위각, 엇각, 평행선 개념 정리 동위각이란? 서로 다른 두 직선 l, m과 다른 한 직선n이 만나서 생기는 각 중에 서로 같은 위치에 있는 각 엇각이란? 서로 다른 두 직선 l, m과 다른 한 직선n이 만나서 생기는 각 중에 서로 엇갈린 위치에 있는 각 평행선의 성질은? 서로 다른 두 직선이 한 직선과 만날 때, ❶ 두 직선이 평행하면 동위각의 크기는 서로 같다. ( l // m 이면 ∠a=∠b ) ❷ 두 직선이 평행하면 엇각의 크기는 서로 같다. ( l // m 이면 ∠a=∠c ) ❸ 동위각의 크기가 같으면 두 직선은 평행하다. ( ∠a=∠b 이면 l // m ) ❹ 엇각의 크기가 같으면 두 직선은 평행하다 ( ∠a=∠c 이면 l // m ) [읽을거리] 2021. 7. 19.
[스낵수학] 각(Angle) 개념과 종류, 심화 각이란? 한 점(O)에서 그은 2개의 반직선(OA와 OB)에 의하여 이루어지는 도형 각의 표현 방법 : ∠AOB, ∠BOA, ∠O, ∠a [심화] 공간도형에서는 직선과 평면, 평면과 평면이 만나 각을 이룰 수 있다. 직선 l과 평면 π가 1점 O에서 만날 때, O를 제외한 l 위의 임의의 점 A에서 π에 수선을 그어서 그것이 π와 만나는 점을 B라 한다. 여기서 OA와 OB가 만드는 도형 AOB를 직선l과 평면 π가 만드는 각이 있다. 각의 크기 ∠AOB에서 점 O를 중심으로 반직선 OB가 반직선 OA까지 회전한 양 각의 종류 평각(straight angle) : 각의 두 변이 한 직선을 이루는 각, 즉 크기가 180°인 각 직각(right angle) : 평각의 크기의 1/2인 각, 즉 크기가 90°인.. 2021. 7. 18.
[스낵수학] 다항식과 일차식의 개념 정리 명칭 설명 (예1) -x+2y-6 (예2) 12a 항 수 또는 문자의 곱으로만 이루어진 식 -x, 2y,-6 12a 상수항 수로만 이루어진 항 -6 0 계수 수와 문자의 곱으로 이러우진 항에서 문자 앞에 곱해진 수 x의 계수 : -1, y의 계수 : 2 a의 계수 : 12 다항식 하나 이상의 항의 합으로 이루어진 식 True True 단항식 다항식 중에서 하나의 항으로만 이루어진 식 False True 항의 차수 항에서 곱해진 문자의 개수 1차 1차 다항식의 차수 다항식의 항 중에서 차수가 가장 큰 항의 차수 1차 1차 일차식 차수가 1인 다항식 True True [참고 : 중1 수준으로 작성됨] 2021. 6. 12.
[추천시스템] 협업 필터링(Collaborating Filtering) 개요, 아이템 VS 유저 협업 필터링 선택하기 정의 : 많은 사람들의 의견을 협동하여 더 나은 추천을 위해 필터링한다. 1. 개인보다는 단체 또는 그룹의 선택과 취향에 의존한다. 2. 여러 사람의 의견을 종합적으로 반영하여 다수의 의견으로 더 나은 선택을 한다. 종류 : 이웃기반 협업 필터링 장점: 1. 구현이 간단하다 2. Model-based CF에 비해 계산량이 적다. 3. 새로운 user, item이 추가되도 안정적으로 추천할 수 있다. 이웃기반 협업 필터링 단점: 1. Cold-Start 문제가 있다. (충분한 데이터가 없으면 추천할 수 없다) 2. 데이터가 많아질수록 계산량이 많아진다. 3. Long-Tail 문제가 발생한다. (대부분의 사용자가 관심 갖는 소수 아이템으로 추천이 쏠린다) User-based 협업 필터링 활용 1. 취향이 .. 2021. 5. 2.
[스낵수학] 절댓값은 수가 아니다? 양수와 음수의 크기 비교 절댓값(absolute value)은 왜 생겼을까? 양수와 음수의 탄생과 발전을 보면, 수로 인정하지 않은 음수가 19세기 이후에 결국 수로 인정을 받게 되었다. 이 때, 기본적으로 수는 단 하나의 수도 의미가 있지만, 여러 수를 비교하고 연산하는게 중요하다. 이 때 양수와 음수의 크기 비교가 필요했다. 이 때, 절대값을 사용하였는데, 영어로는 modulus라고 해석된다. 음수와 양수의 크기 비교는 어떻게 할까? 0을 기점으로 음수의 개념이 생기게 되었다. 이때, 양수와 음수, 음수와 음수의 크기를 비교하기 위해 결국은 기점이 되는 '0'을 크기를 비교하게 되었다. 수직선에서 바로 0을 기점으로 '거리'라는 개념으로 수의 크기를 비교하고 이를 절대값이라고 하게 된 것이다. 그래서 절댓값의 성질은 |a|는.. 2021. 4. 13.
[스낵수학] 정수, 유리수, 숫자 0 개념 정수와 유리수가 왜 필요할까? 자연수만으로는 여러 경제활동이나 자연 현상 등을 표현하기 어려웠다. 그래서 생긴 것이 바로 정수, 그리고 유리수이다. 아래 그림에서 과일의 수를 어떻게 표현할 수 있을까?? 자연수만 사용한다면, 2개? 3개?로 표현을 해 보겠지만, 속살이 보이는 과일 반쪽을 아예 없는 것으로 보기도, 온전한 하나로 보기도 어렵다. 반을 표현을 하기 위해 하나의 과일을 두 쪽으로 나눈다. 1/2라는 분수의 개념이 필요하게 된다. 정수(Integer)란? 0 그리고 자연수에 음의 부호를 붙인 -1, -2, -3, ...을 음의 정수가 있다. 특별히 자연수는 +1, +2, ..로 표현할 수 있고 자연수에 +(양의 부호)를 쓴 수로 양의 정수라고 하여 음의 정수와 같은 기준으로도 표현을 한다. 그.. 2021. 4. 9.
[스낵수학] 양의 부호와 음의 부호, 양수와 음수 개념 양수와 음수는 왜 필요할까? 수학자 크로네커는 '신은 자연수를 만들었고 나머지 수는 모두 사람이 만들었다' 라고 했다. 우리는 생활 속에서 특정 자원들의 수가 늘었다가 줄어드는 것을 볼 수 있다. 이것을 숫자와 부호로 표현하기 위해 늘어남을 표현하기 위해 + 양의 부호를, 줄어듬을 표현하기 위해 - 음의 부호를 만들었다. 그리고 자연수에서 +와 -을 하다보니 새로운 수가 생기기 시작했다. 그것은 바로 없음의 상태! 즉, '0'의 개념이 생긴 것이다. 그리고 심지어 -1, -2도 생기게 된 것이다. 양의 부호와 음의 부호 이해하기 서로 반대의 성질을 양의 부호와 음의 부호로 표현한다. 서로 반대의 성질이라는 것을 2차원 이상에서 표현하게 된다면, 반대되는 방향성을 갖는다는 것이다. . 덧셈과 뺄셈은 양의 .. 2021. 4. 9.
[스낵수학] 공약수, 최대공약수, 서로소 개념 소수와 합성수의 개념은 모두 최대공약수와 최소공약수를 구하기 위한 거였다. 공약수는 왜 배울까? 우리는 일상에서 숫자 하나만을 사용하지 않고 여러 숫자들을 비교하거나 연산하는 등등 수를 계산하게 된다. 이때 좀 더 효율적으로 계산 시간도 단축하고 우리의 머리도 좀 덜 복잡하게 계산할 수 있는 방법이 바로 공약수를 활용하는 것이다. 특히 숫자가 엄청나게 크거나 정말 많은 숫자들을 한 번에 계산해야 한다면, 공약수를 활용하는게 큰 도움이 된다. 공약수(common divisor)란? 둘 이상의 자연수의 공통인 약수 (참조) 약수(divisor)는 '어떤 수를 나누어 떨어지게 하는 수' (나머지가 없음) 예를 들면 : 5와 10의 공약수는 5의 약수는 1과 5이다. 10의 약수는 1, 2, 5, 10이다. 5.. 2021. 4. 4.
반응형