전체 카테고리160 데이콘 public 35등 private 45등! 이번에 데이콘 건설오일 대회를 나갔다. 혼자서 나간 첫 대회인 만큼 엄청 신경쓰고 매일 매일 열심히 했다. 게다가 10등안에 들면 현대중공업에 입사를 할 수 있는 좋은 기회도 있었다. 자세한 코드는 여기서 볼 수 있다. GitHub - DoItSon/Dacon Contribute to DoItSon/Dacon development by creating an account on GitHub. github.com 이번 대회를 하면서 다양한 모델을 공부해볼 수 있어서 좋았다. 많이 성장한 것 같았고, 데이터 사이언티스트가 되면 행복하겠다는 생각도 들었다. 한가지 아쉬운 것이 있다면 private에서 45등이라 코드제출과 재학증명서를 제출하지 않은 것이다. 당연히 안될 줄 알았는데 2차 평가 발표자 리스트를 보.. 2022. 12. 25. 티스토리 404 Error 블로그 글을 쓰려고 했는데 계속해서 404에러가 발생하여 카카오쪽에 문제가 생긴 줄 알고, 기다렸는데 알고보니 아니였다. 해결방법 캐시를 삭제한다!!! 인터넷 우측 상단에 점 세개를 클릭하고, 설정에 들어간다. 이후 개인 정보 보호 및 보안을 클릭! 인터넷 사용 기록 삭제 클릭!! 기간을 전체기간으로 하여 캐쉬를 삭제한다! 2022. 12. 23. pytorch 오류 RuntimeError: result type Float can't be cast to the desired output type Long y의 텐서가 float의 형태가 아니라 생기는 오류였다.... dtype=torch.float32 추가하면 float형태로 반환된다! 2022. 12. 23. MLflow 기록해두어야할 정보 Model 소스 코드 Evaluation Metric 결과 사용한 hyperparameters Model 파일 학습에 사용한 data 데이터 전처리용 코드 전처리 된 data 활용한 라이브러리와 버전 개발 환경(OS, 도커) 배포환경(linux, 도커) 기존 머신러닝의 패턴을 찾아서 만든 것이 MLflow이다. 그리고 Model 학습용 코드를 구현하는 사람과 Serving용 코드를 구현하는 사람이 분리되어있어 이를 합쳐주는 역할이라고 볼 수 있다. MLflow은 저장방식이 제각각 다른 것들을 통합하는 툴이라고 볼 수 있다. Experiment Management and Tracking(실험 관리와 트래킹) 머신러닝의 metric, loss 등의 실험 내용들을 추적하여 각 실험들의 내용.. 2022. 12. 19. TabNet 정리 TabNet이란? TabNet은 정형데이터를 위한 딥러닝으로 DT-based 모델과 DNN의 장점을 계승시킨 모델이다. 특징 1. 전처리가 필요없고, 경사하강법을 사용하여 end-to-end 학습에 유연하게 적용이 가능하다. 2. Sequential attention을 사용하여 feature 선택의 이유를 추적할 수 있게하여 interpretability를 확보했다. 3. 다른 도메인의 회귀와 분류 데이터셋에서 매우 높은 성능을 보인다. 4. 정형 데이터셋에서 비정형 사전학습이 성능을 크게 향상시킬 수 있다. 사용방법 TabNetClassifier나 TabNetRegressor from pytorch_tabnet.tab_model import TabNetClassifier, TabNetRegressor .. 2022. 12. 12. 장고 스크랩핑 자동 업데이트 오늘 할일 기존의 스크랩핑 파일을 aws의 ssh파일에서 동일하게 변경해주고, 스크래퍼가 주기적으로 실행되게 한다. 장고 스크랩트 배치 수행 설정 django_scraper/web_scraper에서 touch로 scraper_run.sh 파일 만들고, nano script_run.sh를 쳐서 파일에 들어감! nano 진입! #! /bin/bash cd /home/ubuntu/django_scraper/web_scraper /home/ubuntu/django_scraper/bot_venv38/bin/python manage.py runscript scraper 위 코드를 넣어준다! 이 후 cltr + o / cltr + x로 빠져나온다! (가상환경일 때는 interpriter의 절대 경로로 사용한다!) 스.. 2022. 12. 7. 이전 1 2 3 4 ··· 27 다음 728x90
