KUBIG 2022-2 활동 블로그

Paper: Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Abstract 논문 발표 당시 주도하던 *sequence transduction 모델은 encoder와 decoder를 포함한 복잡한 recurrent (RNN) 혹은 conv..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 00:34

🔑Machine Reading Comprehension(기계 독해)에 사용되는 데이터셋인 SQuAD(2016)와 SQuAD2.0(2018)에 대한 전반적인 내용을 살펴본다. What’s NLP? 자연어처리의 전통적인 정의 인공지능(AI)의 한가지 : the branch of AI 인간이 자연적으로 사용하는 언어를 분석, 이해 및 생성하여 문제를 해결! 다양한 관점에서의 NLP 연구들 Phonetics and Phonology - 음운학적 (linguistics sounds) Morphology - 말뭉치의 구성 (형태론적) Syntax - 언어의 문법에 대한 (통사론적) Semantics - 말의 맥락의 의미 (의미론적) Discourse - 담화론적 의미 자연어처리(NLP)의 실질적인(pragmatic..

심화 스터디/논문 리뷰 2022. 9. 29. 20:29

작성자 : 남정재 ### 최근 자연어처리 연구트렌드를 정리한 페이퍼로, 2003년 Neural Language Model부터 2018년 BERT까지 Word Embedding 방법론의 발전 흐름을 6가지 모델을 중심으로 리뷰 진행 ### 본 논문을 리뷰한 DSBA 세미나 영상을 참고하여 NLP의 핵심이 되는 모델들 위주로 살펴보았습니다. [Sparse Embedding] 1) One-hot Encoding Text Corpus에서 중복을 제외한 모든 단어들에 대해 Vocab Dictionary를 구축 이때 단어 사전 내에서 각 단어들은 고유한 정수 인덱스 번호를 부여받게됨 이 인덱스 번호에 따라서 원 핫 벡터를 생성하게 되는데, 단어들의 인덱스 번호에 해당하는 위치에 1, 나머지는 0으로 생성됨 이때 원..

심화 스터디/논문 리뷰 2022. 9. 15. 20:30