KUBIG 2022-2 활동 블로그

1. Introduction and Motivation attention 구조 복습! : 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고 : 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 보는 것 이러한 attention 구조를 통해 우리는 신경 모델의 내부를 확인하고 해석할 수 있을 것이라고 생각한다 그러나 이 통념은 확실하게 평가되지 않았고, 논문에선 두 가지 제안을 하면서 여러 NLP task (text classification, QA, Natural Language Inference )에서 그 제안들이 여전히 성립하는지 확인하고자 하였다. attention weight와 feat..

심화 스터디/논문 리뷰 2022. 10. 30. 18:08

▶️한 줄 요약 : input - question - answer 세 가지 데이터 셋과 episodic memory module로 구성된 Dynamic Memory Network (DMN)를 활용하여 정교한 추론을 요구하는 NLP task에 적용 1. Introduction 일반적으로 QA는 본문의 내용을 이해하는 작업 + 관련 사실에 대해서 추론하는 작업 이 두 가지를 필요로 한다. 논문에서는 여러 QA를 기반으로 진행할 수 있는 여러 NLP task(machine translation, part-of-speech tagging, sentiment anaylsis 등등) 에 적용할 수 있는 Dynamic Memory Network를 제안한다. DMN의 기본적인 역할 두 가지는 → 반복적인 attenti..

심화 스터디/논문 리뷰 2022. 10. 30. 17:49

🔑Machine Reading Comprehension(기계 독해)에 사용되는 데이터셋인 SQuAD(2016)와 SQuAD2.0(2018)에 대한 전반적인 내용을 살펴본다. What’s NLP? 자연어처리의 전통적인 정의 인공지능(AI)의 한가지 : the branch of AI 인간이 자연적으로 사용하는 언어를 분석, 이해 및 생성하여 문제를 해결! 다양한 관점에서의 NLP 연구들 Phonetics and Phonology - 음운학적 (linguistics sounds) Morphology - 말뭉치의 구성 (형태론적) Syntax - 언어의 문법에 대한 (통사론적) Semantics - 말의 맥락의 의미 (의미론적) Discourse - 담화론적 의미 자연어처리(NLP)의 실질적인(pragmatic..

심화 스터디/논문 리뷰 2022. 9. 29. 20:29

작성자: 15기 이승은 1. Trends RNN으로 Graph 구조의 데이터를 다루기 → 그 이후 (Spectral Representation) Graph에 eigen-decomposition 후 합성곱 연산 적용 등: 쉽게 말하면 그래프를 축소해서 다루기 쉬운 format으로 만든 후 연산 → but 연산 적용 후 새로운 구조의 Graph나 새로운 Node에 적용하기 어렵다는 단점이 있다. (Non-Spectral or Spatial Representation) 합성곱을 Graph에 직접적으로 적용 (GraphSAGE 등) 이외에도 Attention 적용 → Inductive Learning에 적용 가능, 일반화 장점 2. Methods 3. Advantages Graph의 모든 Edge에 공유되어 A..

심화 스터디/논문 리뷰 2022. 9. 29. 20:26

작성자 : 김지후 1. Introduction 셀프 트레이닝(self-training) 방법인 ELMo, GPT, BERT, XLM, XLNet은 상당한 성능의 개선을 이루어냈습니다. 그러나 방법의 어떤 측면이 기여했는지에 결정하기 어렵습니다. 학습의 과정은 무거워 제한된 튜닝이 가능합니다. 그리고 private 학습데이터를 사용해 모델링의 영향을 측정하는 것이 제한됩니다. 본 논문은 **BERT의 재현 연구(Replication study)**를 통해 하이퍼파라미터의 영향과 학습데이터 셋의 영향을 보여줍니다. 그리고 BERT가 완벽하지 않고 성능이 개선될 수 있음을 확인했습니다. 그렇게 개선한 모델이 RoBERTa입니다. 수정 사항은 다음과 같습니다. (1) 모델을 더 길고, 더 큰 배치 사이즈로 학습..

심화 스터디/논문 리뷰 2022. 9. 29. 20:23

작성자 : 김지후 1. Introduction 대부분의 딥러닝 방법에서 상당한 크기의 라벨링된 데이터가 필요합니다. 많은 산업에는 라벨링된 데이터의 부족으로 활용에 제한이 있습니다. 따라서 라벨링되지 않은 데이터에서 언어적인 정보를 이끌어낼 수 있는 모델은 라벨링 데이터를 더 모으는 것의 훌륭한 대안이 됩니다. 또한 지도학습 방법이 존재하더라도 비지도 학습이 더 좋은 성능을 보여주기도 합니다. 사전학습된 embedding이 그 예시입니다. 레이블링이 되지 않은 텍스트로부터 단어 수준 이상의 정보를 얻는 것에는 2가지 어려운 점이 있습니다. (1) 전이학습(transfer)에서 어떤 optimiazation objectives의 종류를 사용하는 것이 학습에 가장 효과적인지 알기가 어렵다. (2) 학습된 표..

심화 스터디/논문 리뷰 2022. 9. 22. 20:17

작성자: 15기 이승은 1. CNN two great ideas of CNN - shared weights (filter size), translation invariance (이미지 위치 정보 사라짐) 2. Basics of GCN graph convolution을 이용하여 그래프에 포함된 node나 그래프 자체를 벡터 형태의 데이터로 변환 (기본적인 GCN에서는 node의 feature만을 고려 → edge feature가 존재하는 그래프는 다루지 X) Definition of Graph G=(A,X), where A∈R^(N×N) represents an Adjacency matrix (node의 연결을 나타내는 인접 행렬 and X∈R^(N×d) represents a node feature ma..

심화 스터디/논문 리뷰 2022. 9. 22. 20:07

작성자 : 15기 김제성 0. 통계적 기계번역 SMT (statictical machine translation) 번역 모델 - 두 가지 언어로 된 말뭉치에서 alignment를 추출한다 (단어 혹은 구 단위로) 언어 모델 - 조건부 확률을 통해 다음에 올 단어들을 예측한다 (기존에 알고 있는 그 language model) (SMT에선 n-gram 이용하기도 함) 논문에서는 이 SMT를 비교가 되는 기준 baseline으로 잡았고 BLEU score는 33.30 ▶️NMT (Neural machine translation)이 나오기 전까진 기계번역 역시 통계에 기반한 방법론으로 주로 다루어졌다. 1. Introduction DNN speech recognition, visual object recogn..

심화 스터디/논문 리뷰 2022. 9. 15. 20:38