인일의 공부 블로그

포스팅 개요아이펠 9기 리서치 NLP 과정 딥다이브 노드 학습중 필기한 내용입니다.  목차1.ELMO2.GPT3.BERT     🎈 ELMO(Embedding from Language Models)- ELMO는 문맥(context)을 반영한 임베딩을 pretrained model로 구현한 것- 언어 모델을 이용하여 임베딩함 ELMO의 구조1. character-level CNN- 입력된 문자들 간의 관계를 파악하고 임베딩 벡터로 변환- ELMo는 character level로 문자 인식    - 즉, character의 유니코드 ID를 입력으로 받음    i.e. 입력 단어 : '밥' -> 'ㅂ', 'ㅏ', 'ㅂ' 으로 분리 -> 각 요소에 해당하는 유니코드 {235, 176, 165}- 단어의 시작과..

포스팅 개요아이펠 9기 리서치 NLP과정 딥다이브 노드 학습 중 작성되었습니다.  목차1. Data Augmentation2. Lexical substiution3. Back Translation  🎈 Data AugmentationAugmentation을 하는 이유- 성능 향상- 성능 저하 X- 패턴이 있어 쉽게 데이터를 얻을 수 잇음 Augmentation 방법- 이미지 조작(좌우 반전, 크롭, 밝기조절, roataion, Shifting ...)- 응용방법(AlexNet, VGGNet, ResNet) 🎈 Lexical substitution동의어 기반 대체- 시소러스(Thesaurus) : 동의어, 유의어를 집중적으로 구축해놓은 사전. i.e. 워드넷(WordNet)- 기계번역을 돕기 위해 동의..

포스팅 개요아이펠 리서치 9기 NLP 과정 딥다이브 학습 중 작성된 내용입니다.  목차1. Greedy Decoding2. Beam Search3. Sampling  번역의 흐름규칙 기반 기계 번역- 규칙 기반 기계 번역(Rule Based Machine Translation, RBMT) : 번역할 때 경우의 수를 직접 정의- 단점 : 너무 복잡하고 오랜 시간이 필요통계적 기계 번역- 통계적 기계 번역(Statistical Machine Translation, SMT) : 수많은 데이터로부터 통계적 확률을 구해 번역을 진행- 각 문장에 대한 확률을 조건부 확률을 사용해서 정의 (마크오브 결정론 사용)- 단점 : 희소문제가 발생함 : 충분한 데이터를 관측하지 못한 언어를 정확히 모델링 하지 못함SMT 모델..

포스팅 개요아이펠 9기 Deep Dive 학습을 진행중입니다. NLP 코스로 학습 중 기록을 각색하여 블로그에 포스팅합니다.목차1. 1번2. 2번3. 3번4. 4번5. 5번🎈 1. 전처리- 자연어의 이상적인 데이터의 형태는 표준 어휘로 구성된 말- 하지만, 예외적으로 변형 (표준 어휘가 아닌 형태)된 경우가 더 많음e.g.) 불완전한 문장, 문장 길이가 너무 길거나 짧음, 채팅 데이터 에서 문장 시간 간격이 긺, 욕설 오타 등이 포함⇒ 아직은 이러한 어휘를 고려하여 학습을 진행해야 함(* 자연어 처리의 이상치는 아주 큰 규모의 학습을 진행하여 이러한 이상치들을 제외 할 수 있도록 학습시키는 것)> 노이즈 유형별 처리1. 문장 부호- 컴퓨터는 명시해주지 않으면 (띄어쓰기로 구분하지 않으면) 알파벳에 ,가..