KUBIG 2022-2 활동 블로그

INTRODUCTION 1. Transforemer vs CNN CNN의 경우엔 멀리 떨어진 정보를 통합하기 위해서 여러 개의 layer를 통과해야 하지만, Transformer는 self-attention layer 하나만 거쳐도 멀리 떨어진 정보를 통합할 수 있다. 2. Inductive Bias 새로운 데이터에 대해 좋은 성능을 내기 위해 모델에 사전적으로 주어지는 가정; Training에서 보지 못한 데이터에 대해서도 적절한 귀납적 추론이 가능하도록 하기 위해 모델이 가지고 있는 가정들의 집합을 의미한다. CNN은 지역적인locality 정보 그리고 RNN은 순차적인sequentiality 정보이므로 이에 대한 inductive bias를 가진다. 반면 transformer는 CNN과 RNN에 비..

심화 스터디/CV 논문 리뷰 2022. 11. 27. 20:35

0. 개요 Transformer는 입력 시퀀스를 받아서 출력 시퀀스를 벡터로서 표현한다. RNN 모델과 입력 및 출력은 동일하나, 내부 구조에서의 차이가 존재한다. 기존의 RNN에서는 context vector를 앞에서부터 순차적으로 생생하고, 그 context vector를 이후 시점에서 활용하는 방식으로 구현하기 때문에 이후 시점의 연산은 앞 시점의 연산에 의존적일 수 밖에 없다. 따라서, 앞 시점의 연산이 끝나지 않을 경우, 그 뒤의 연산을 수행할 수 없으므로 병렬 처리가 불가능하다. 하지만 Transformer의 경우, attention 개념을 도입하여 모든 과정에 병렬처리가 가능하도록 하였다. 1. Transformer 모델 구조 Transformer의 전체구조는 위의 그림과 같다. input ..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 19:14

https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 1. 개요 많은 딥러닝 모델, 특히 자연어 처리 분야의 모델들은 Transformer의 아키텍쳐를 기반으로 한다 GPT : Tran..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 02:19

Paper: Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Abstract 논문 발표 당시 주도하던 *sequence transduction 모델은 encoder와 decoder를 포함한 복잡한 recurrent (RNN) 혹은 conv..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 00:34

개요 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다.(우리가 Transformer를 알아야 하는 이유) GPT: Transformer의 Decoder 아키텍쳐 활용 BERT: Transformer의 Encoder 아키텍쳐 활용 기존의 Seq2Seq 모델들의 한계점 context vector v에 소스 문장의 정보를 압축해야만 했음 >> bottleneck이 발생하여 성능 하락의 원인이 됨 디코더가 context vector를 매번 참고할수는 있으나, 여전히 소스 문장을 하나의 벡터에 압축해야 함 즉, 하나의 문맥 벡터가 소스 문장의 모든 정보를 가지고 있어야 하므로 성능이 저하됨. Q: 매번 소스 문장에서의 출력 전부를 입력받게 할수는 없을까?? A: 어텐션..

심화 스터디/CV 논문 리뷰 2022. 11. 8. 02:21

기존의 seq2seq 모델은 인코더-디코더 구조로 구성되어져 있었다. 여기서 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해서 출력 시퀀스를 만들어냈다. 하지만 이러한 구조는 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실된다는 단점이 있었고, 이를 보정하기 위해 어텐션이 사용되었다. 어텐션을 RNN의 보정을 위한 용도로서 사용하는 것이 아니라 어텐션만으로 인코더와 디코더를 만들었고 이를 Transformer라 명명했다. 1. Attention Mechanism RNN에 기반한 seq2seq모델에는 크게 두가지 문제가 있다. 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생한다. RNN의 고질적인 기울..

심화 스터디/CV 논문 리뷰 2022. 11. 1. 15:19

Abstract 본 논문에서는 적대적 과정을 통해 generative model을 추정하는 새로운 framework를 제안하였다. 데이터의 분포를 포착하는 생성자 G와 sample이 G가 아닌 training data로부터 나왔을 확률을 추정하는 판별자 D가 동시에 train되는 것이 핵심이다. G는 D가 실수를 할 확률을 최대화하는 방향으로 학습되고 D는 그 실수를 최대한 줄이려는 방향으로 학습된다. 즉, 게임이론의 한종류인 minimax two-player game(추정되는 최대의 손실을 최소화하는 기법, 서로 최선의 선택을 한다고 가정)으로 귀결된다. 이 게임에서는 G가 training data distribution을 갖게되고, D가 sample을 맞게 분류할 확률이 1/2에 도달하게 되는 un..

심화 스터디/CV 논문 리뷰 2022. 9. 29. 18:56

Paper: Generative Adversarial Networks We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that arxiv.org Abstract 논문에서는 적대적과정(adversarial process)을 통해 generative model(생성모델)을 추정하는 새로운 방식을 제시한다. 생성 모..

심화 스터디/CV 논문 리뷰 2022. 9. 29. 00:55