본문 바로가기

AI 공부53

파이썬 (Pandas 기초) Pandas 란? 파이썬에서 데이터를 쉽게 다룰수 있는 라이브러리 2차원형태의 데이터에 대해 집계,전처리 등을 아주 쉽게 할수 있다. 정형데이터를 다루는 라이브러리 Pandas 의 데이터구조 - Dataframe 2차원구조로 되어있는 행렬 데이터 - Series 1차원 구조로 되어있는 한종류의 열방향 데이터 Series 여러개 모이면 Dataframe 된다. import numpy as np import pandas as pd 파이썬 pandas를 numpy와 함께 자주 쓰인다. - Dataframe 만들기 행렬 구조의 리스트를 Dataframe 으로 변환하기 data = [ ["A군",30,170], ["B군",25,180] ] df = pd.DataFrame(data,columns = ["이름","나.. 2022. 8. 30.
파이썬 (Numpy) Numpy 수치계산을 하기 위한 파이썬 라이브러리 딥러닝에서 사용되는 텐서와 매우 유사 백테와 행렬 단위의 대용량 수치 연산을 빠르게 진행 병렬 연산한다. 백터(vector) 1차원 데이터(1차원 배열) 스칼라가 연속적으로 여러개 모여있는 것 스칼라(scalar): 단순하게 측정한 하나의 값 행렬(Matrix) 2차원 데이터(2차원 배열) 1차원 데이터가 여러개 모여 있는 것 벡터 import numpy as np lst = [1,2,3,4,5,6] arr = np.array(lst) arr => array([1, 2, 3, 4, 5, 6]) 행렬 lst = [ [1,2,3], [4,5,6] ] arr = np.array(lst) arr => array([[1, 2, 3], [4, 5, 6]]) 3차원 .. 2022. 8. 24.
파이썬 (SQLAIchemy) SQLAIchemy python에서 사용하는 대표적인 ORM - ORM(Object Relational Mapping)이란? 객체와 DB의 테이블이 매핑을 이루는 것을 말한다. DB의 테이블 객체화시켜서 데이터를 CRUD SQL을 직접 작성하지 않고, 테이블을 조작할 수 있다. 사용하는 DBMS가 변경된다면 엔지만 바꿔주면 된다. 쿼리 대신 메소드를 이용해서 CRUD(create....) 사용 예시 import sqlalchemy as db 구글 드라이브를 연결하고 import를 해준다. db 접속 정보 파일 import yaml DB_INFO = "/content/drive/MyDrive/data/db.yaml" with open(DB_INFO,"r") as f: db_info = yaml.load(f.. 2022. 8. 23.
파이썬 (Pymysql) Pymysql은 내 DB를 파이썬에 연결하여 사용하는 것이다. 설치는 다음과 같이 한다. !pip install pymysql 구글 드라이브를 연결하고, 기존에 내 db.yaml파일을 읽는 형식으로 가져온다. - DB 접속정보 db_info => 나의 Host와 user와 passwd,port 정보가 나온다. 이 후 다음과 같이 연동한다. HOST = db_info["HOST"] USER = db_info["USER"] PASSWD = db_info["PASSWD"] PORT = 3306 - connect 함수를 이용하여 연결객체 받아오기 import pymysql conn = pymysql.connect( user = USER, passwd = PASSWD, host = HOST, port = PORT.. 2022. 8. 23.
크롤링 (HTML, CSS, User Agent, Selenium) 크롤링(Crawling) 자동으로 웹페이지의 정보를 수집하는 것 - 스크래핑(scraping)이란? 크롤링을 통한 수집한 정보를 분석해서 필요한 정보만 추출하는 일 HTML(Hyper Text Markup Language) 웹페이지에 필요한 구성요소를 구성하는 Markup 언어 태그를 이용해 화면의 레이아웃 구조와 텍스트, 요소 등을 표현한다. HTML의 구조 웹문서의 내용(실제 브라우저에 표시되는 내용) CSS HTMl의 요소를 꾸며주는 스타일 시트 CSS 선택자를 이용해서 HTML 요소에 접근하여 꾸며준다. CSS 선택자 - 태그명으로 접근하는 예시 a 태그 접근: a - 태그의 class 속성명으로 접근하는 예시 class="btn" : .btn - 태그의 id 속성명으로 접근하는 예시 id="bt.. 2022. 8. 22.
SQL (Open API와 HTTP) Open API (Application Programming Interface) 란? API는 프로그램의 특정한 부분에 요청해서 그 안에 있는 데이터와 서비스(기능)를 이용할 수 있게 해주는 소프트웨어 인터페이스 다양한 데이터를 어디서나 쉽게 이용할 수 있도록 개방된 API이다. 주요 Open API 제공처 공공데이터포털 (http://www.data.go.kr/) 네이버 Developers 센터 (http://developers.naver.com/) 구글 디벨로퍼 (http://developers.google.com/) 페이스북 for 디벨로퍼 (http://developers.facebook.com/) 카카오톡 디펠로터 (http://developers.kakao.com/) 이 중에서 공공데이터포털은.. 2022. 8. 18.
728x90