방학 세션/방학 스터디

NLP 분반

Ty1en01 2022. 9. 7. 22:16

분반 소개 및 스터디 목표

  • 자연어 처리의 기반을 다지고 현실 언어 데이터에 적용하는 법을 배웁니다.
  • 기본개념부터 텍스트 데이터 전처리, 최신동향 언어모델까지 접해볼 기회를 제공합니다.

 

스터디 진행 방식

  1. 스터디 전까지 : 교재 기반 스터디 준비, 코드 구현 과제(모두)
  2. 초반 30~1시간 : 코드 구현 과제 발표 + QnA
  3. 후반 1시간~1시간 30분 : <밑바닥부터 시작하는 딥러닝 2>, <딥러닝을 이용한 자연어처리 입문> 교재 기반 스터디
  4. 각 주차 별 주제에 해당하는 교재 챕터를 확인한 후, 다음주 목요일 세션까지 내용을 숙지해 오시면 됩니다.
  5. 추가로, 5주차 MODELING 부터는 각자 맡은 모델을 공부해 다음주 세션을 준비해주시면 됩니다.

 

사용 교재

  • 밑바닥부터 시작하는 딥러닝2
  • 딥러닝을 이용한 자연어처리 입문

 

CURRICULUM

주차 일정 내용 과제 및 논의
1주차 2022.07.07 스터디 OT, 자연어처리란? 신경망 복습, 단어의 분산 표현
2주차 2022.07.14 텍스트 전처리, 언어모델 text preprocessing, BoW
3주차 2022.07.21 Word Embedding gensim, word2vec (CBOW, Skipgram) 구현
4주차 2022.07.28 사전학습된 워드임베딩, RNN GloVe, FastText, RNN
5주차 2022.08.04 Modeling PT.1 LSTM, GRU, Seq2Seq
6주차 2022.08.11 Modeling PT.2 Attention, Transformer
7주차 2022.08.18 Modeling PT.3 사전학습모델(BERT, GPT, BART)
8주차 2022.08.25 휴강 KUBIG CONTEST 준비