인일의 공부 블로그

포스팅 개요아이펠 9기 리서치 NLP과정 딥다이브 노드 학습 중 작성되었습니다.  목차1. Data Augmentation2. Lexical substiution3. Back Translation  🎈 Data AugmentationAugmentation을 하는 이유- 성능 향상- 성능 저하 X- 패턴이 있어 쉽게 데이터를 얻을 수 잇음 Augmentation 방법- 이미지 조작(좌우 반전, 크롭, 밝기조절, roataion, Shifting ...)- 응용방법(AlexNet, VGGNet, ResNet) 🎈 Lexical substitution동의어 기반 대체- 시소러스(Thesaurus) : 동의어, 유의어를 집중적으로 구축해놓은 사전. i.e. 워드넷(WordNet)- 기계번역을 돕기 위해 동의..

포스팅 개요아이펠 리서치 9기 NLP 과정 딥다이브 학습 중 작성된 내용입니다.  목차1. Greedy Decoding2. Beam Search3. Sampling  번역의 흐름규칙 기반 기계 번역- 규칙 기반 기계 번역(Rule Based Machine Translation, RBMT) : 번역할 때 경우의 수를 직접 정의- 단점 : 너무 복잡하고 오랜 시간이 필요통계적 기계 번역- 통계적 기계 번역(Statistical Machine Translation, SMT) : 수많은 데이터로부터 통계적 확률을 구해 번역을 진행- 각 문장에 대한 확률을 조건부 확률을 사용해서 정의 (마크오브 결정론 사용)- 단점 : 희소문제가 발생함 : 충분한 데이터를 관측하지 못한 언어를 정확히 모델링 하지 못함SMT 모델..