빅데이터 성장통

전체 글

• 데이콘 public 35등 private 45등! 이번에 데이콘 건설오일 대회를 나갔다. 혼자서 나간 첫 대회인 만큼 엄청 신경쓰고 매일 매일 열심히 했다. 게다가 10등안에 들면 현대중공업에 입사를 할 수 있는 좋은 기회도 있었다. 자세한 코드는 여기서 볼 수 있다. GitHub - DoItSon/Dacon Contribute to DoItSon/Dacon development by creating an account on GitHub. github.com 이번 대회를 하면서 다양한 모델을 공부해볼 수 있어서 좋았다. 많이 성장한 것 같았고, 데이터 사이언티스트가 되면 행복하겠다는 생각도 들었다. 한가지 아쉬운 것이 있다면 private에서 45등이라 코드제출과 재학증명서를 제출하지 않은 것이다. 당연히 안될 줄 알았는데 2차 평가 발표자 리스트를 보.. 2022.12.25

• 

  티스토리 404 Error 블로그 글을 쓰려고 했는데 계속해서 404에러가 발생하여 카카오쪽에 문제가 생긴 줄 알고, 기다렸는데 알고보니 아니였다. 해결방법 캐시를 삭제한다!!! 인터넷 우측 상단에 점 세개를 클릭하고, 설정에 들어간다. 이후 개인 정보 보호 및 보안을 클릭! 인터넷 사용 기록 삭제 클릭!! 기간을 전체기간으로 하여 캐쉬를 삭제한다! 2022.12.23

• 

  pytorch 오류 RuntimeError: result type Float can't be cast to the desired output type Long y의 텐서가 float의 형태가 아니라 생기는 오류였다.... dtype=torch.float32 추가하면 float형태로 반환된다! 2022.12.23

• 

  MLflow 기록해두어야할 정보 Model 소스 코드 Evaluation Metric 결과 사용한 hyperparameters Model 파일 학습에 사용한 data 데이터 전처리용 코드 전처리 된 data 활용한 라이브러리와 버전 개발 환경(OS, 도커) 배포환경(linux, 도커) 기존 머신러닝의 패턴을 찾아서 만든 것이 MLflow이다. 그리고 Model 학습용 코드를 구현하는 사람과 Serving용 코드를 구현하는 사람이 분리되어있어 이를 합쳐주는 역할이라고 볼 수 있다. MLflow은 저장방식이 제각각 다른 것들을 통합하는 툴이라고 볼 수 있다. Experiment Management and Tracking(실험 관리와 트래킹) 머신러닝의 metric, loss 등의 실험 내용들을 추적하여 각 실험들의 내용.. 2022.12.19

• TabNet 정리 TabNet이란? TabNet은 정형데이터를 위한 딥러닝으로 DT-based 모델과 DNN의 장점을 계승시킨 모델이다. 특징 1. 전처리가 필요없고, 경사하강법을 사용하여 end-to-end 학습에 유연하게 적용이 가능하다. 2. Sequential attention을 사용하여 feature 선택의 이유를 추적할 수 있게하여 interpretability를 확보했다. 3. 다른 도메인의 회귀와 분류 데이터셋에서 매우 높은 성능을 보인다. 4. 정형 데이터셋에서 비정형 사전학습이 성능을 크게 향상시킬 수 있다. 사용방법 TabNetClassifier나 TabNetRegressor from pytorch_tabnet.tab_model import TabNetClassifier, TabNetRegressor .. 2022.12.12