인일의 공부 블로그

포스팅 개요아래 공식 블로그를 요약하고 튜토리얼을 진행했습니다.https://www.elastic.co/kr/blog/5-technical-components-image-similarity-search 이미지 유사성 검색의 5가지 기술 구성 요소 | Elastic.co이미지 유사성 검색을 자세히 살펴보고, 유사성 검색 애플리케이션을 구현하는 데 수반되는 5가지 구성 요소를 이해하고, 성능에 중요한 기술적 고려 사항을 숙지합니다....www.elastic.cohttps://www.elastic.co/kr/blog/how-to-deploy-nlp-text-embeddings-and-vector-search NLP를 배포하는 방법: 텍스트 임베딩 및 벡터 검색이 블로그에서는 감정 분석을 예제 작업으로 삼아, ..

포스팅 개요아이펠 9기 리서치 NLP 과정 딥다이브 노드 학습중 필기한 내용입니다.  목차1.ELMO2.GPT3.BERT     🎈 ELMO(Embedding from Language Models)- ELMO는 문맥(context)을 반영한 임베딩을 pretrained model로 구현한 것- 언어 모델을 이용하여 임베딩함 ELMO의 구조1. character-level CNN- 입력된 문자들 간의 관계를 파악하고 임베딩 벡터로 변환- ELMo는 character level로 문자 인식    - 즉, character의 유니코드 ID를 입력으로 받음    i.e. 입력 단어 : '밥' -> 'ㅂ', 'ㅏ', 'ㅂ' 으로 분리 -> 각 요소에 해당하는 유니코드 {235, 176, 165}- 단어의 시작과..

포스팅 개요아이펠 9기 리서치 NLP과정 딥다이브 노드 학습 중 작성되었습니다.  목차1. Data Augmentation2. Lexical substiution3. Back Translation  🎈 Data AugmentationAugmentation을 하는 이유- 성능 향상- 성능 저하 X- 패턴이 있어 쉽게 데이터를 얻을 수 잇음 Augmentation 방법- 이미지 조작(좌우 반전, 크롭, 밝기조절, roataion, Shifting ...)- 응용방법(AlexNet, VGGNet, ResNet) 🎈 Lexical substitution동의어 기반 대체- 시소러스(Thesaurus) : 동의어, 유의어를 집중적으로 구축해놓은 사전. i.e. 워드넷(WordNet)- 기계번역을 돕기 위해 동의..

포스팅 개요아이펠 리서치 9기 NLP 과정 딥다이브 학습 중 작성된 내용입니다.  목차1. Greedy Decoding2. Beam Search3. Sampling  번역의 흐름규칙 기반 기계 번역- 규칙 기반 기계 번역(Rule Based Machine Translation, RBMT) : 번역할 때 경우의 수를 직접 정의- 단점 : 너무 복잡하고 오랜 시간이 필요통계적 기계 번역- 통계적 기계 번역(Statistical Machine Translation, SMT) : 수많은 데이터로부터 통계적 확률을 구해 번역을 진행- 각 문장에 대한 확률을 조건부 확률을 사용해서 정의 (마크오브 결정론 사용)- 단점 : 희소문제가 발생함 : 충분한 데이터를 관측하지 못한 언어를 정확히 모델링 하지 못함SMT 모델..

포스팅 개요https://wikidocs.net/22660 Word2Vec의 학습 방법에는 CBOW와 Skip-Gram 두가지가 있음. 목차1. 1번2. 2번3. 3번    🎈 1. 희소 표현- 원 핫 벡터 인코딩을 표현- 단어의 인덱스 값만 1으로 하고 나머지는 0으로 표현  🎈 2. 분산 표현- 분포 가설(distributional hypothesis)을 가정하고 만듦- 비슷한 문맥에서 등장한 단어들은 비슷한 의미를 가진다는 뜻 강아지의 인덱스가 4 라는 예시1. 원핫벡터Ex) 강아지 = [ 0 0 0 0 1 0 0 0 0 0 0 0 ... 중략 ... 0]2. 분산 표현Ex) 강아지 = [0.2 0.3 0.5 0.7 0.2 ... 중략 ... 0.2]- 단어의 의미를 여러 차원에 분산하여 표현-..

포스팅 개요아이펠 9기 Deep Dive 학습을 진행중입니다. NLP 코스로 학습 중 기록을 각색하여 블로그에 포스팅합니다.목차1. 1번2. 2번3. 3번4. 4번5. 5번🎈 1. 전처리- 자연어의 이상적인 데이터의 형태는 표준 어휘로 구성된 말- 하지만, 예외적으로 변형 (표준 어휘가 아닌 형태)된 경우가 더 많음e.g.) 불완전한 문장, 문장 길이가 너무 길거나 짧음, 채팅 데이터 에서 문장 시간 간격이 긺, 욕설 오타 등이 포함⇒ 아직은 이러한 어휘를 고려하여 학습을 진행해야 함(* 자연어 처리의 이상치는 아주 큰 규모의 학습을 진행하여 이러한 이상치들을 제외 할 수 있도록 학습시키는 것)> 노이즈 유형별 처리1. 문장 부호- 컴퓨터는 명시해주지 않으면 (띄어쓰기로 구분하지 않으면) 알파벳에 ,가..

1. 기울기 소실(Vanishing Gradient)이란? 역전파에서 경사하강법 진행시, 기울기 값이 사라지는 문제 출력층에 가까운 값에서 입력층으로 가까운 값으로 진행되면서 기울기가 작아지며 소실한다. 더보기 input layer에 입력값이, output layer에 출력값이, 중간 부분에서 계산을 함. 간단히 말하면 입력값에 중요한 만큼(가중치)를 곱해서 특정 값(임계치)를 넘으면 출력값에 옳은 답 이라는 것을 출력함. 이때, input layer -> hidden layer -> output layer를 가는 순전파도 있지만 output layer 쪽에서 input layer로 가는 역전파도 있음. 역전파는 데이터에대한 가중치를 정정할때 사용됨. 이때 곱해지는 활성화 함수에 대해 예시를 들겠음.

Vector, Matrix and Tensor - 차원이 없는 것을 Scalar라고 한다. 1차원 벡터, 2차원 행렬, 3차원 이상부터는 텐서 하여 쌓아 올린것. 파이토치 텐서 모형 2D 텐서 |t| = (Batch size, dim) 3D 텐서 모형 |t| = (batch size, width, height) NumPy Review PyTorch Tensor Broadcasting 행렬 계산에는 기본적인 규칙이 있다. 덧셈할때 같은 크기의 행렬만 사용 할 수 있다거나 곱셈 시에도 크기(k*m, m*k 행렬로)를 맞춰주어야 한다. 파이토치에서는 조건에 맞지 않는 크기더라도 행렬 계산을 할 수 있도록 boradcasting을 지원한다. Mean Sum Max and Argmax 참고자료 및 출처 벡터, 매..

본 포스팅은 다음 강좌를 수강하며 작성 될 것이다. www.boostcourse.org/ai214 파이토치로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org 나름 2학년 여름 방학중 머신러닝 / 딥러닝을 공부했지만 지금 와서 하나도 모르고 체계도 잡혀있지 않다. 아무래도 영어 강의를 수강하였고 영어 강좌로 공부했으며 공부 내용을 정리하기엔 시간이 너무 빠듯하여 진도 나가기에 급급했기 때문이라고 생각이 된다. 시간적 여유가 있...나? 암튼 지금 뭐부터 해야 할지 모르겠기 때문에 파이토치로 딥러닝 기초 이론을 공부해보려 한다. 실습 환경 설정 사실 파이토치와 이용하는 환경이 로컬에 모두 잘 설치되어있고 실습하기에 부족하지 않아 굳이 사용할 필요가 없지만 강의에서 관장하여 설치..

보호되어 있는 글입니다.