목록2024/10/28 (1)

인일의 공부 블로그

NLP 흐름 정리

포스팅 개요아이펠 9기 리서치 NLP 과정 딥다이브 노드 학습중 필기한 내용입니다.  목차1.ELMO2.GPT3.BERT     🎈 ELMO(Embedding from Language Models)- ELMO는 문맥(context)을 반영한 임베딩을 pretrained model로 구현한 것- 언어 모델을 이용하여 임베딩함 ELMO의 구조1. character-level CNN- 입력된 문자들 간의 관계를 파악하고 임베딩 벡터로 변환- ELMo는 character level로 문자 인식    - 즉, character의 유니코드 ID를 입력으로 받음    i.e. 입력 단어 : '밥' -> 'ㅂ', 'ㅏ', 'ㅂ' 으로 분리 -> 각 요소에 해당하는 유니코드 {235, 176, 165}- 단어의 시작과..
AI ML DL/NLP 2024. 10. 28. 16:05
이전 Prev 1 Next 다음