인일의 공부 블로그

포스팅 개요아이펠 9기 리서치 NLP 과정 딥다이브 노드 학습중 필기한 내용입니다.  목차1.ELMO2.GPT3.BERT     🎈 ELMO(Embedding from Language Models)- ELMO는 문맥(context)을 반영한 임베딩을 pretrained model로 구현한 것- 언어 모델을 이용하여 임베딩함 ELMO의 구조1. character-level CNN- 입력된 문자들 간의 관계를 파악하고 임베딩 벡터로 변환- ELMo는 character level로 문자 인식    - 즉, character의 유니코드 ID를 입력으로 받음    i.e. 입력 단어 : '밥' -> 'ㅂ', 'ㅏ', 'ㅂ' 으로 분리 -> 각 요소에 해당하는 유니코드 {235, 176, 165}- 단어의 시작과..

포스팅 개요아이펠 9기 리서치 NLP과정 딥다이브 노드 학습 중 작성되었습니다.  목차1. Data Augmentation2. Lexical substiution3. Back Translation  🎈 Data AugmentationAugmentation을 하는 이유- 성능 향상- 성능 저하 X- 패턴이 있어 쉽게 데이터를 얻을 수 잇음 Augmentation 방법- 이미지 조작(좌우 반전, 크롭, 밝기조절, roataion, Shifting ...)- 응용방법(AlexNet, VGGNet, ResNet) 🎈 Lexical substitution동의어 기반 대체- 시소러스(Thesaurus) : 동의어, 유의어를 집중적으로 구축해놓은 사전. i.e. 워드넷(WordNet)- 기계번역을 돕기 위해 동의..

포스팅 개요아이펠 리서치 9기 NLP 과정 딥다이브 학습 중 작성된 내용입니다.  목차1. Greedy Decoding2. Beam Search3. Sampling  번역의 흐름규칙 기반 기계 번역- 규칙 기반 기계 번역(Rule Based Machine Translation, RBMT) : 번역할 때 경우의 수를 직접 정의- 단점 : 너무 복잡하고 오랜 시간이 필요통계적 기계 번역- 통계적 기계 번역(Statistical Machine Translation, SMT) : 수많은 데이터로부터 통계적 확률을 구해 번역을 진행- 각 문장에 대한 확률을 조건부 확률을 사용해서 정의 (마크오브 결정론 사용)- 단점 : 희소문제가 발생함 : 충분한 데이터를 관측하지 못한 언어를 정확히 모델링 하지 못함SMT 모델..

포스팅 개요  목차1. 회귀분석과 다변량분석에서 - 주성분 분석2. 확률과정에서 - 마크오브체인3. 정보이론에서    🎈 회귀분석과 다변량분석에서 - 주성분 분석- 회귀분석 : 최소제곱법에 의한 직선 근사- 다변량 분석 : 주성분 분석  주성분 분석(PCA)https://wikidocs.net/185095 - 다차원의 점을 낮은 차원으로 투영한다는 아이디어 마침 오늘 노드 학습에서 진행했으므로, 이 블로그의 글 대로 한번 진행해보겠습니다.- PCAhttps://ratsgo.github.io/machine%20learning/2017/04/24/PCA/ 주성분분석(Principal Component Analysis) · ratsgo's blog이번 글에서는 차원축소(dimensionality reduct..

포스팅 개요아이펠 9기 리서치 과정 진행 중 수학 스터디에 참여하여 스터디를 진행하고 있다. 좋아하는 개념인 의사 난수 부분을 발표를 하게 되어 기쁘다! 교재는 아래 링크로 첨부하였다.https://books.google.co.kr/books/about/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%A8%B8%EB%A5%BC_%EC%9C%84%ED%95%9C_%ED%99%95%EB%A5%A0%EA%B3%BC_%ED%86%B5.html?id=dFSeDwAAQBAJ&redir_esc=y의사 난수스스로 만들지 말라. 라는 교훈을 준다. 위 교훈을 이해하기 위해서 공부를 진행한 후 다시 생각해보자.더보기내가 생각한 결론 : 주사위 놀이를 여러번 하지 말라. 어떠한 규칙에 따라 만들되, ..

포스팅 개요아이펠 9기 온라인과정 딥다이브 코스 학습 중 핵심되는 부분이나 어려운 부분을 리뷰하는 페이지 입니다. 상세 내용은 아래 각 링크를 하여 보충하였습니다.  목차1. 단어 빈도를 이용한 벡터화2. LSA와 LDA3. 텍스트 분포를 이용한 비지도학습 토크나이저  🎈 1. 단어 빈도를 이용한 벡터화- 자연어 처리에서 벡터화 : 텍스트를 숫자 벡터로 변환한느 과정- 벡터화 방법    1. 통계와 머신러닝을 활용한 방법    2. 인공 신경망을 활용하는 방법1. Bag of Words(BoW)1. 단어들을 모두 가방에 넣어 섞음2. 빈도 정보만 보존함 - keras Tokenizer 활용from tensorflow.keras.preprocessing.text import Tokenizersentenc..

포스팅 개요https://wikidocs.net/22660 Word2Vec의 학습 방법에는 CBOW와 Skip-Gram 두가지가 있음. 목차1. 1번2. 2번3. 3번    🎈 1. 희소 표현- 원 핫 벡터 인코딩을 표현- 단어의 인덱스 값만 1으로 하고 나머지는 0으로 표현  🎈 2. 분산 표현- 분포 가설(distributional hypothesis)을 가정하고 만듦- 비슷한 문맥에서 등장한 단어들은 비슷한 의미를 가진다는 뜻 강아지의 인덱스가 4 라는 예시1. 원핫벡터Ex) 강아지 = [ 0 0 0 0 1 0 0 0 0 0 0 0 ... 중략 ... 0]2. 분산 표현Ex) 강아지 = [0.2 0.3 0.5 0.7 0.2 ... 중략 ... 0.2]- 단어의 의미를 여러 차원에 분산하여 표현-..

포스팅 개요아이펠 9기 Deep Dive 학습을 진행중입니다. NLP 코스로 학습 중 기록을 각색하여 블로그에 포스팅합니다.목차1. 1번2. 2번3. 3번4. 4번5. 5번🎈 1. 전처리- 자연어의 이상적인 데이터의 형태는 표준 어휘로 구성된 말- 하지만, 예외적으로 변형 (표준 어휘가 아닌 형태)된 경우가 더 많음e.g.) 불완전한 문장, 문장 길이가 너무 길거나 짧음, 채팅 데이터 에서 문장 시간 간격이 긺, 욕설 오타 등이 포함⇒ 아직은 이러한 어휘를 고려하여 학습을 진행해야 함(* 자연어 처리의 이상치는 아주 큰 규모의 학습을 진행하여 이러한 이상치들을 제외 할 수 있도록 학습시키는 것)> 노이즈 유형별 처리1. 문장 부호- 컴퓨터는 명시해주지 않으면 (띄어쓰기로 구분하지 않으면) 알파벳에 ,가..