representation, likelyhood, 활성화 함수, 손실함수, optimizer, 배치 사이즈

# 갑자기 개념이 헷갈리는 순간을 위해 정리해놓음

 

• representation : 고차원 -> 저차원 매핑
• likelyhood : 연속적인 사건의 수는 확률로 계산 x -> likelyhood 사용
  • 연속적인 사건이 일어날 확률은 1/무한대 = 0 이 되기 때문
• 정형 데이터 : 특성이 열로 표현됨 <-> 비정형 데이터 : 특성이 열로 구성할 수 없음
• 로지스틱 회귀, 랜덤 포레스트, XGBoost => 정보가 있지만 공간성 x
• 이미지 데이터의 경우,
  • x_train : [데이터 개수, 이미지 크기[x], 이미지 크기[y], 채널]
• Sequential 모델 : 일렬로 층을 쌓은 네트워크 만들 때 사용 [이전층 그대로 다음층으로 연결]
• 활성화 함수 : relu [+ leaky relu], sigmoid, softmax
  • sigmoid : binary classification, multilabel classification
  • softmax : multiclass classification
  • multilabel classification / multiclass classification
    • multiclass classification : One Sample to One Label
    • multilabel classification : One Sample to Multi-Label
• 학습시 모델 학습이 너무 느리다면, 가중치가 많은 층의 뉴런 줄여보는 것도 검토
• 손실함수 : [흔히 쓰는 건] mean squared error [mse], categorical cross-entropy, binary cross-entropy
  • regression 문제 = mse
  • multiclass classification = categorical cross-entropy
  • multilabel classification = binary cross-entropy
• optimizer : [흔히 쓰는 건] adam, rmsprop
• batch_size 클수록 계산 안정적이지만 속도 느려짐
  • 일반적으로 32 - 256 사이 사용
• axis = -1 : 마지막 차원으로 배열 압축

 

 

• 참조
• [OREILLY] 만들면서 배우는 생성 AI