본문 바로가기

ML-DL

 (20)
Retrieval-Augmented Generation : RAG 란 ? RAG의 중요성이 대두되는 만큼 RAG가 무엇이고, 그 플로우를 정리해보려고 한다. 1. RAG란?RAG 란 Retrieval-Augmented Generation으로 번역하자면 검색증강생성 으로서,LLM의 모델들이 가지고 있는 문제들을 개선하기 위한 기법이다. RAG 가 어떤 문제를 해결하는지 알기 위해서 먼저 LLM을 가볍게 살펴보고자 한다. 2. LLMLLM 은 Large Language Model 로, 거대 언어 모델을 말한다.거대하다를 정의하는 것에 있어서는 여러 의견이 있지만 이 페이지 를 기준으로 얘기해보자면,    1. 개인이 감당할 수 없는 사이즈   2. 개인의 접근이 어려운 데이터   3. 추론 능력의 여부 를 가진 모델을 LLM이라고 부를 수 있다. 거대 언어 모델 (Large La..
[Paper Review] Auto-Encoding Variational Bayes 리뷰 최근 생성 AI에 관심이 많아지면서 만들면서 배우는 생성 AI 책을 보게 되었다.책의 내용이 AE -> VAE -> GAN -> Diffusion 으로 이루어져 있어서,관련 논문들을 읽고 리뷰하면 좋겠다는 생각이 들어 VAE부터 시작. 이미 많은 분들이 해주신 리뷰가 있어 이것저것 참고하면서 기초가 되는 지식과 함께 수식을 정리해보았다.[Pre] Basic- Auto Encoder는 두 부분으로 구성된 신경망1) Encoder : 고차원 input 을 저차원 embedding vector로 압축2) Decoder : embedding vector를 도메인으로 압축 해제 - Auto Encoder 와 Variational Auto Encoder 의 차이  - AE의 경우 : 각 이미지가 잠재 공간의 한 포..
패딩, 스트라이드, 파라미터 개수 계산, 배치 정규화, 드롭아웃 # 갑자기 개념이 헷갈리는 순간을 위해 정리해놓음 합성곱 신경망에서는 뉴런[노드]을 filter 혹은 kernel 이라고 부름패딩 : 입력 배열 주위를 가상 원소로 채우는 작업실제 입력값이 아니라서 패딩은 0으로 채움계산에 영향을 미치지 않으면서 입력과 출력 데이터의 크기를 동일하게 만들 수 있음 [ = same padding]same padding의 출력 크기 : [입력 높이 / 스트라이드 , 입력 너비 / 스트라이드 , 필터 개수]모서리에 중요한 정보가 있다면 패딩 없으면 feature map에 잘 전달되지 않음 [가중치와 한번밖에 안 곱해지기 때문]스트라이드 : 이동 개수스트라이드가 커질 수록 커널 수가 줄어들고, featuer mapd의 크기는 더 작아진다.파라미터 개수 계산법1. Convolut..
representation, likelyhood, 활성화 함수, 손실함수, optimizer, 배치 사이즈 # 갑자기 개념이 헷갈리는 순간을 위해 정리해놓음 representation : 고차원 -> 저차원 매핑likelyhood : 연속적인 사건의 수는 확률로 계산 x -> likelyhood 사용연속적인 사건이 일어날 확률은 1/무한대 = 0 이 되기 때문정형 데이터 : 특성이 열로 표현됨 비정형 데이터 : 특성이 열로 구성할 수 없음로지스틱 회귀, 랜덤 포레스트, XGBoost => 정보가 있지만 공간성 x이미지 데이터의 경우,x_train : [데이터 개수, 이미지 크기[x], 이미지 크기[y], 채널]Sequential 모델 : 일렬로 층을 쌓은 네트워크 만들 때 사용 [이전층 그대로 다음층으로 연결]활성화 함수 : relu [+ leaky relu], sigmoid, softmaxsigmoid ..

티스토리툴바