KUBIG 2022-2 활동 블로그

작성자: 15기 이승은 논문 리뷰 계기 최근 이미지 사이의 유사성에 관심 → 단순히 cosine similiarity로 계산 가능하지만 보다 고차원의 정보를 반영하여 이미지 사이의 유사성을 계산해보고 싶어졌음 → 기존의 Euclidean space (R^n)에서의 연산을 넘어 non-Euclidean space에서 Graph로 이미지를 다뤄보고 싶음 Graph로 과연 딥러닝을 어떻게 하는 것인가? non-Euclidean space에서 대상들 간 복잡한 관계나 상호 의존성 등을 그래프로 표현 가능 (화학 분자 구조, 사람들 간의 관계 네트워크, 쇼핑 상품 추천 등) 특히 머신러닝에서는 인스턴스들이 서로 독립적이어야 한다는 전제가 있으나 (Dropout이나 Multi-collinearity 제거 등) 그래..

심화 스터디/논문 리뷰 2022. 9. 15. 20:32

작성자 : 남정재 ### 최근 자연어처리 연구트렌드를 정리한 페이퍼로, 2003년 Neural Language Model부터 2018년 BERT까지 Word Embedding 방법론의 발전 흐름을 6가지 모델을 중심으로 리뷰 진행 ### 본 논문을 리뷰한 DSBA 세미나 영상을 참고하여 NLP의 핵심이 되는 모델들 위주로 살펴보았습니다. [Sparse Embedding] 1) One-hot Encoding Text Corpus에서 중복을 제외한 모든 단어들에 대해 Vocab Dictionary를 구축 이때 단어 사전 내에서 각 단어들은 고유한 정수 인덱스 번호를 부여받게됨 이 인덱스 번호에 따라서 원 핫 벡터를 생성하게 되는데, 단어들의 인덱스 번호에 해당하는 위치에 1, 나머지는 0으로 생성됨 이때 원..

심화 스터디/논문 리뷰 2022. 9. 15. 20:30

작성자: 김지후 1. Introduction 본 논문에서 제시한 BART는 Bidirectional 그리고 Auto-Regressive Transformer의 결합입니다. BART는 denosing autoencoder로 sequence - to -sequence 모델로 만들어져 다양한 태스크에 적용될 수 있습니다. 사전학습에는 두가지 과정이 있습니다. (1) 텍스트에 임의의 noise로 손상을 줌 (2) sequence-to-sequence 모델을 학습해 원래 텍스트 데이터를 재구성 Transformer 기반의 뉴럴 기계번역 구조를 사용합니다. 이는 bidirectional encoder를 가진 BERT와 left-to-right decoder를 가진 GPT 그리고 다른 최신의 사전학습 구조를 일반화한..

심화 스터디/논문 리뷰 2022. 9. 15. 20:27