본문 바로가기

ML-DL/Base

 (5)
Massage passing 1. GNNGNN은 그래프 구조의 데이터를 처리하기 위한 딥러닝 모델이다. 그래프의 노드, 엣지, 속성을 입력으로 받아 노드 혹은 특징 벡터를 학습한다. 기본적으로 메시지 패싱 기법을 사용하여 노드의 정보를 받아 특징 벡터를 업데이트하며 일반적으로 손실 함수를 정의하고 역전파를 통해 학습된다. 2. 그래프 데이터노드와 엣지[노드 간 관계 혹은 상호작용]로 이루어 자료 구조이다. 이 구조는 네트워크 형태의 관계나 연결성을 설명하는데 사용된다.   1) 그래프 예시1. 추천 시스템의 경우노드 : 유저 / 아이템엣지 : 유저와 아이템의 관계 [조회 / 클릭 / 구매 등] 2. sns의 경우노드 : 유저엣지 : 유저의 관계 [팔로우 등] 3. 생물의 경우노드 : 단백질, 유전자 등의 분자엣지 : 단백질 간의 상..
KL Divergence [Kullback-Leibler Divergence] 1. KL Divergence ?두 확률 분포 간의 차이를 측정하는 함수로, 모델이 예측한 확률 분포와 실제 데이터 분포 간의 차이를 최소화 할 때 사용된다. 예측 분포와 실제 분포의 차이를 정량적으로 평가할 수 있으며 분류 모델에서 손실 함수로 사용 되기도 한다.KL Divergence 값이 0에 가까울 수록 두 개의 분포가 비슷하다는 것을 의미하며, 크면 클수록 두 분포가 차이가 크기 때문에 정보 손실이 크다고 해석할 수 있다. 2. 수식이산확률분포 :$\mathit{D}_{KL}(P\left| \right|Q)=\sum_{i}P(i)\cdot log(\frac{P(i)}{Q(i)})$ $=\sum_{i}P(i)logP(i)-\sum_{i}P(i)logQ(i)$ $=-H(P)+H(P, Q)$ $P(i..
파라미터와 하이퍼파라미터 차이 1. 파라미터 [Parameter ; 매개변수] : 모델 이 데이터로부터 학습하는 값들을 말한다. 사용자에 의해 조정되지 않는다. 학습 데이터를 통해 업데이트 되고, 모델의 예측을 결정하는 핵심 요소이다. 예시1 ) 한 학교에서 학생들의 몸무게에 대한 분포를 그린다고 할때, 분포의 평균과 표준편차 값은 파라미터 이다.예시2 ) 머신러닝에서는 가중치와 편향 등이 파라미터에 해당한다.  2. 하이퍼파라미터 [Hyper Parameter] : 모델링 진행시 사용자가 직접 세팅해주는 값을 뜻한다. 정해진 최적의 값은 없으며, 휴리스틱한 방법이나 경험에 의해 결정되는 경우가 많다. 예시 ) 머신러닝에서 learning rate, epoch 등이 있다.  3. 참고https://bkshin.tistory.com/e..
패딩, 스트라이드, 파라미터 개수 계산, 배치 정규화, 드롭아웃 # 갑자기 개념이 헷갈리는 순간을 위해 정리해놓음 합성곱 신경망에서는 뉴런[노드]을 filter 혹은 kernel 이라고 부름패딩 : 입력 배열 주위를 가상 원소로 채우는 작업실제 입력값이 아니라서 패딩은 0으로 채움계산에 영향을 미치지 않으면서 입력과 출력 데이터의 크기를 동일하게 만들 수 있음 [ = same padding]same padding의 출력 크기 : [입력 높이 / 스트라이드 , 입력 너비 / 스트라이드 , 필터 개수]모서리에 중요한 정보가 있다면 패딩 없으면 feature map에 잘 전달되지 않음 [가중치와 한번밖에 안 곱해지기 때문]스트라이드 : 이동 개수스트라이드가 커질 수록 커널 수가 줄어들고, featuer mapd의 크기는 더 작아진다.파라미터 개수 계산법1. Convolut..
representation, likelyhood, 활성화 함수, 손실함수, optimizer, 배치 사이즈 # 갑자기 개념이 헷갈리는 순간을 위해 정리해놓음 representation : 고차원 -> 저차원 매핑likelyhood : 연속적인 사건의 수는 확률로 계산 x -> likelyhood 사용연속적인 사건이 일어날 확률은 1/무한대 = 0 이 되기 때문정형 데이터 : 특성이 열로 표현됨 비정형 데이터 : 특성이 열로 구성할 수 없음로지스틱 회귀, 랜덤 포레스트, XGBoost => 정보가 있지만 공간성 x이미지 데이터의 경우,x_train : [데이터 개수, 이미지 크기[x], 이미지 크기[y], 채널]Sequential 모델 : 일렬로 층을 쌓은 네트워크 만들 때 사용 [이전층 그대로 다음층으로 연결]활성화 함수 : relu [+ leaky relu], sigmoid, softmaxsigmoid ..

티스토리툴바