KUBIG 2022-2 활동 블로그

💡 2018년, Google에서 공개한 SentencePiece에 관한 논문으로, BERT에 대표적으로 활용되는 Subword Segmentation인 SentencePiece를 소개하는 논문이다. (지금까지 1972회 인용됨) 본 논문은 신경망 기반의 언어 처리를 위해 고안된 언어에 의존하지 않는(language-independent) subword tokenizer와 detokenizer인 SentencePiece를 소개한다. 기존에 있던 subword segmentation tool들은 input을 단어들로 pre-tokenized하는 것을 가정하고 있지만, SentencePiece는 raw 문장에서 subword 모델을 직접 학습할 수 있다. 영어-일본어 기계번역 실험을 통해 검증 과정을 거쳤으며..

심화 스터디/논문 리뷰 2022. 11. 10. 20:04

개요 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다.(우리가 Transformer를 알아야 하는 이유) GPT: Transformer의 Decoder 아키텍쳐 활용 BERT: Transformer의 Encoder 아키텍쳐 활용 기존의 Seq2Seq 모델들의 한계점 context vector v에 소스 문장의 정보를 압축해야만 했음 >> bottleneck이 발생하여 성능 하락의 원인이 됨 디코더가 context vector를 매번 참고할수는 있으나, 여전히 소스 문장을 하나의 벡터에 압축해야 함 즉, 하나의 문맥 벡터가 소스 문장의 모든 정보를 가지고 있어야 하므로 성능이 저하됨. Q: 매번 소스 문장에서의 출력 전부를 입력받게 할수는 없을까?? A: 어텐션..

심화 스터디/CV 논문 리뷰 2022. 11. 8. 02:21

🔑Machine Reading Comprehension(기계 독해)에 사용되는 데이터셋인 SQuAD(2016)와 SQuAD2.0(2018)에 대한 전반적인 내용을 살펴본다. What’s NLP? 자연어처리의 전통적인 정의 인공지능(AI)의 한가지 : the branch of AI 인간이 자연적으로 사용하는 언어를 분석, 이해 및 생성하여 문제를 해결! 다양한 관점에서의 NLP 연구들 Phonetics and Phonology - 음운학적 (linguistics sounds) Morphology - 말뭉치의 구성 (형태론적) Syntax - 언어의 문법에 대한 (통사론적) Semantics - 말의 맥락의 의미 (의미론적) Discourse - 담화론적 의미 자연어처리(NLP)의 실질적인(pragmatic..

심화 스터디/논문 리뷰 2022. 9. 29. 20:29

작성자 : 남정재 ### 최근 자연어처리 연구트렌드를 정리한 페이퍼로, 2003년 Neural Language Model부터 2018년 BERT까지 Word Embedding 방법론의 발전 흐름을 6가지 모델을 중심으로 리뷰 진행 ### 본 논문을 리뷰한 DSBA 세미나 영상을 참고하여 NLP의 핵심이 되는 모델들 위주로 살펴보았습니다. [Sparse Embedding] 1) One-hot Encoding Text Corpus에서 중복을 제외한 모든 단어들에 대해 Vocab Dictionary를 구축 이때 단어 사전 내에서 각 단어들은 고유한 정수 인덱스 번호를 부여받게됨 이 인덱스 번호에 따라서 원 핫 벡터를 생성하게 되는데, 단어들의 인덱스 번호에 해당하는 위치에 1, 나머지는 0으로 생성됨 이때 원..

심화 스터디/논문 리뷰 2022. 9. 15. 20:30