목록AI ML DL/NLP (1)

인일의 공부 블로그

[Aiffel 9] 딥다이브 1. 텍스트 데이터 다루기

포스팅 개요아이펠 9기 Deep Dive 학습을 진행중입니다. NLP 코스로 학습 중 기록을 각색하여 블로그에 포스팅합니다.목차1. 1번2. 2번3. 3번4. 4번5. 5번🎈 1. 전처리- 자연어의 이상적인 데이터의 형태는 표준 어휘로 구성된 말- 하지만, 예외적으로 변형 (표준 어휘가 아닌 형태)된 경우가 더 많음e.g.) 불완전한 문장, 문장 길이가 너무 길거나 짧음, 채팅 데이터 에서 문장 시간 간격이 긺, 욕설 오타 등이 포함⇒ 아직은 이러한 어휘를 고려하여 학습을 진행해야 함(* 자연어 처리의 이상치는 아주 큰 규모의 학습을 진행하여 이러한 이상치들을 제외 할 수 있도록 학습시키는 것)> 노이즈 유형별 처리1. 문장 부호- 컴퓨터는 명시해주지 않으면 (띄어쓰기로 구분하지 않으면) 알파벳에 ,가..
AI ML DL/NLP 2024. 10. 10. 11:16
이전 Prev 1 Next 다음