잡동사니 블로그

Class imbalance? 주로 분류(classification)에서 다수의 데이터와 소수의 데이터 차이 예를 들어 위와같은 데이터로 모델을 만든다고 가정할 때 모델이 불균형한 클래스에 대해 편향되도록 학습됨. 모든 데이터를 0으로 학습하더라도 95%의 Accuracy를 가진 모델이 됨. 이를 해결하기 위해 Over Sampling, Under Sampling이 있지만, Class weight라는 방법도 있다. \[ \text{LogLoss} = - \frac{1}{N} \sum_{i=1}^{N} \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] \] 여기서 Class weight인 - \( w_{0} \)와 - \( w_{1} \..

위 이미지가 너무 잘 설명되어있어서... Multi-class -> 여러개의 label중 하나 Multi-label -> 여러개의 label중 여러개 신기하게도 tensorflow와 다르게 output에 따로 function을 안취하고 loss function내에 자체적으로 계산되는 형식. 심지어 공식문서에서도 강조되어 있음. # Multi-class # CrossEntropyLoss 사용 output = torch.tensor([[1,0,0], [0,0,2]]) # 모델의 출력값 target = torch.tensor([0, 2]) # 실제 레이블 criterion = nn.CrossEntropyLoss() #input float, output long loss = criterion(output.flo..

AI Model을 설계할 때 가끔 Input이 여러개를 원할 경우가 있다. 예를들면 Image와 Categorical featurer가 동시에 들어간다면 좋을텐데 라는 생각도 들어서 Pytorch에서는 이를 해결 하기 위해 아래와 같은 코드가 사용됨. torch.cat((out1, out2), dim=1) from sklearn.datasets import load_iris import torch from torch.utils.data import Dataset, DataLoader from sklearn.model_selection import train_test_split from sklearn.datasets import load_iris from sklearn.preprocessing import..

백엔드 친구놈이 DB 연습 한다고 무신사 상품 정보를 일일히 가져오고 있길래 하나 만듬. 대충 라이브러리 설치법은 https://eupppo.tistory.com/entry/Selenium%EA%B3%BC-bs4%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%ED%81%AC%EB%A1%A4%EB%A7%81 [Python] Selenium과 bs4를 이용한 크롤링 + Pyautogui 크롤링 기본 구조 1. Selenium을 사용하여 소스코드로 지정된 WebDriver를 실행하여 웹 페이지에 접속한다. 2. 접속한 웹 페이지를 HTML 소스코드 형태로 파싱한다. 3. 파싱된 HTML 전체 코드에서 Beautiful S eupppo.tistory.com import pandas as p..