본문 바로가기

분류 전체보기

(46)
딥러닝 모델 만들기 전처리 (colab 이용) from google.colab import drive drive.mount('/content/drive') DATA_PATH = "/content/drive/MyDrive/" DATA_PATH SEED = 42 import torch import numpy as np # 시드 고정을 위해 import random import os import pandas as pd from sklearn.preprocessing import OneHotEncoder from sklearn.model_selection import train_test_split from sklearn.model_selection import cross_val_score from sklearn.model_sele..
텐서 다루기 텐서 (Tensor) 텐서는 배열 또는 행렬과 매우 유사한 데이터 구조 import torch import numpy as np 텐서 만들기 입력 받은 객체를 텐서 객체로 변경 입력 받은 객체의 자료형을 유지 >>> data = [ >>> [1,2,3], >>> [4,5,6] >>> ] >>> x = torch.tensor(data) >>> x tensor([[1, 2, 3], [4, 5, 6]]) >>> type(x) torch.Tensor 텐서의 속성 # int64가 기본값 >>> x.dtype torch.int64 >>> x.shape torch.Size([2, 3]) >>> x.size() torch.Size([2, 3]) >>> x.device device(type='cpu') # 64에서 32..
딥러닝 (Deep Learning) 개요 인공신경망 소프트웨어적으로 인간의 뉴런 구조를 본떠 마든 기계학습 모델 인공지능을 구현하기 위한 기술 중 한 형태 뉴런을 모방하는 기초단위 노드 (Node) 각각의 신경 단위에서 많은 입력들을 조합해서 하나의 출력값으로 배출 비선형 변환(활성함수)을 통해 다음 노드에 전달 피드 포워드(Feed-Forward) 신경망 입력에서 출력으로 이어지는 과정이 한방향으로 흘러 순환이 없는 신경망 인공 뉴런 (퍼셉트론) w: weight (가중치) b: bias (편향) h(): activation funciton 딥러닝 (Deep Learning) 딥러닝은 머신러닝 알고리즘 중 하나인 인공신경망을 다양하게 쌓은 것 인공신경망을 여러 겹으로 쌓으면 딥러닝이다 머신러닝이 처리하기 어려워하는 비정형 데이터를 더 잘 처리..
크롤링 예제 & 실습 div 태그이면서 class 속성이 box 인 태그를 모두 추출 find_all 메서드 활용 >>> soup.find_all("div",{"class":"box"}) [ 하이퍼링크만들기 네이버로 이동하기 구글로 이동하기 , 목록 만들기 넘파이 판다스 사이킷런 파이토치 , Output is truncated a 태그 이면서 target 속성이 _blank 인 태그를 모두 추출 find_all 메서드 활용 >>> data = soup.find_all("a",{"target":"_blank"}) >>> data [네이버로 이동하기, 구글로 이동하기, ] # 태그의 속성값 추출하기 >>> data[0]["href"] 'https://naver.com' 이걸 응용해보죠! 네이버 환율 정보 가져오기 환전 고시 환율..
NumPy 예제 MAE와 RMSE 함수 구현하기 다음과 같이 실제 값과, 모델이 예측한 값이 각각 100개가 있다 실제값과 예측값 사이에 평균 오차를 구하는 함수 두개를 구현하자 >>> np.random.seed(42) # 정답값 >>> target = np.random.randint(50, 91,100) # 예측값 >>> pred = np.random.randint(40, 100,100) >>> target , pred (array([88, 78, 64, 57, 70, 88, 68, 72, 60, 60, 73, 85, 89, 73, 52, 71, 51, 73, 79, 87, 51, 70, 82, 61, 71, 74, 76, 77, 65, 64, 52, 86, 56, 70, 58, 88, 67, 53, 74, 63, 5..
NumPy 벡터 (Vector) 1차원 데이터(1차원 배열) 스칼라(scalar)가 연속적으로 여러 개 모여 있는 것 >>> lst = [1,2,3,4,5,6] >>> arr = np.array(lst) >>> arr array([1, 2, 3, 4, 5, 6]) 행렬 (Matrix) 2차원 데이터(2차원 배열) 1차원 배열인 벡터가 여러 개 모여 있는 것 >>> lst = [ >>> [1,2,3], >>> [4,5,6] >>> ] >>> arr = np.array(lst) >>> arr array([[1, 2, 3], [4, 5, 6]]) NumPy (Numerical Python) 수치계산을 위한 파이썬 라이브러리 딥러닝에서 사용되는 텐서와 매우 유사 벡터, 행렬 단위에 대용량 수치연산을 빠르게 해줌 다차원 배..
크롤링 크롤링 (Crawling) 자동으로 웹페이지 정보를 수집하는 일 스크래핑 (Scraping) 크롤링을 통해 수집한 정보를 분석해 필요한 정보만 추출하는 일 HTML(Hyper Text Markup Language) 웹페이지에 필요한 구성 요소를 구성하는 Markup 언어 태그를 이용해 화면의 레이아웃 구조와 텍스트, 요소 등을 표현함 html 웹문서의 내용(실제 브라우저에 표시되는 내용) CSS HTML의 요소를 꾸며주는 스타일 시트 css 선택자를 이용해 html 요소에 접근하여 꾸며줌 css 선택자 태그명으로 접근하는 예시 (a 태그에 접근: a) 태그의 class 속성명으로 접근 (class = "btn": .btn) 태그의 id 속성명으로 접근 (id = "btn": #btn) html 페이지 예..
DCL (Data Control Language) DCL (Data Control Language) grant: 사용자 계정에 대한 권한을 주는 구문 revoke: 사용자 계정에 대한 권한을 회수하는 구문 commit: insert,update,delete 대한 데이터베이스에 실제 반영해주는 구문 rollback: insert,update,delete 대한 복구 계정 생성 create user '아이디'@'ip' identified by '비밀번호'; create user 'karns'@'%' identified by '1234'; select * from user; 권한 권한 주기 (grant) #권한 주기 grant select,insert,delete,update,create,alter,drop on *.* to 'karns'@'%'; select..