KUBIG 2022-2 활동 블로그

0. 개요 Transformer는 입력 시퀀스를 받아서 출력 시퀀스를 벡터로서 표현한다. RNN 모델과 입력 및 출력은 동일하나, 내부 구조에서의 차이가 존재한다. 기존의 RNN에서는 context vector를 앞에서부터 순차적으로 생생하고, 그 context vector를 이후 시점에서 활용하는 방식으로 구현하기 때문에 이후 시점의 연산은 앞 시점의 연산에 의존적일 수 밖에 없다. 따라서, 앞 시점의 연산이 끝나지 않을 경우, 그 뒤의 연산을 수행할 수 없으므로 병렬 처리가 불가능하다. 하지만 Transformer의 경우, attention 개념을 도입하여 모든 과정에 병렬처리가 가능하도록 하였다. 1. Transformer 모델 구조 Transformer의 전체구조는 위의 그림과 같다. input ..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 19:14

작성자: 15기 이병주 기존 모델 LSTM-AE (Unsupervised) Training: 정상 데이터만 사용해서 정상 데이터의 분포를 학습함 Anomaly detection: 학습이 완료된 LSTM-AE를 기반으로 새로운 input의 reconstruction error가 threshold를 초과하면 이상치로 탐지 MAD-GAN (Unsupervised) Training: 정상 데이터만 사용해서 generator와 discriminator 를 학습함 Anomaly detection: 학습이 완료된 LSTM-AE를 기반으로 새로운 input의 reconstruction error가 threshold를 초과하면 이상치로 탐지 Introduction AE based, GAN based는 한계점이 있다. A..

심화 스터디/Advanced ML & DL paper review 2022. 11. 10. 18:31

https://arxiv.org/pdf/1607.06450.pdf 제목 : Layer normalization 저자 : Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton (University of Toronto) 이 글은 Batch Normalization에 관한 사전 지식이 필요합니다. Abstract 딥러닝 학습에는 많은 비용이 들기 때문에 효율적으로 학습하는 방법을 개발해야 함 Normalization 기법을 통해 비용을 획기적으로 줄일 수 있음 기존의 Batch Normalization(BN)은 mini-batch 사이즈에 영향을 받음 기존의 BN은 또한 RNN에서 적용하는 방법이 분명하지 않음 이를 개선하기 위해 1 Batch를 대상으로 Normaliza..

심화 스터디/Advanced ML & DL paper review 2022. 11. 10. 17:06

0.Abstract 이 논문에서는 매우 큰 데이터셋에서 연속적인 단어의 벡터 표현을 계산하기 위한 두 가지의 새로운 Model Architectures을 제시한다. 이렇게 만들어진 모델은 단어 유사도 task을 기준으로 기존의 다른 NN 모델들과 비교 평가되었고, 훨씬 낮은 계산 비용에서 큰 정확도의 향상을 발견했다. (16억개 단어 데이터셋을 벡터화하는 데 하루 밖에 안 걸린다고 한다.) 그리고 이 모델로 문법적syntactic, 의미적semantic 단어 유사도에서 SOTA를 달성했다고 한다. 1. Introduction 2013년 당시 많은 NLP 시스템들과 기술들은 단어를 원자 단위atomic units로 처리하였다. atomic units로 계산하면 간단하고 범용적이며, 많은 데이터로 학습한 간..

심화 스터디/Advanced ML & DL paper review 2022. 11. 10. 16:14

https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 1. 개요 많은 딥러닝 모델, 특히 자연어 처리 분야의 모델들은 Transformer의 아키텍쳐를 기반으로 한다 GPT : Tran..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 02:19

작성자: 15기 우명진 1. Introduction generator model(위조범, 거짓 화폐를 생산함) vs. discriminative model(경찰, 위조 화폐를 구별해냄) → 두 모델은 서로 겅쟁을 통해 성능을 향상 시켜 나간다. (Advsersarial Model) GAN 모델은 unsupervised learning으로, generator model은 노이즈로부터 실제 데이터와 유사한 가짜 이미지를 생성한다. 그리고 discriminator model은 fake image를 실제 데이터와 구별하여 판별하도록 학습한다. -Generative Model과 Discriminative Model은 모두 다층 퍼셉트론이어서 Markov Chain을 사용하지 않고, backpropagation과 ..

심화 스터디/Advanced ML & DL paper review 2022. 11. 10. 01:13

Paper: Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Abstract 논문 발표 당시 주도하던 *sequence transduction 모델은 encoder와 decoder를 포함한 복잡한 recurrent (RNN) 혹은 conv..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 00:34

작성자 : 채윤병 1. Introduction 하나의 그래프에서 노드에 label이 일부분만 주어질 때 노드를 분류하는 문제를 Graph-based semi-supervised learning이라고 한다. 이 경우 label에 대한 정보가 smoothing 될 수 있다. L0 - supervised loss Lreg - regularization term △ = D - A → Unnormalized graph Laplacian of undirected graph Eq.1의 가정 : 그래프에서 연결된 노드는 같은 label을 가질 가능성이 높다. (그러나 이러한 가정은 model의 capacity를 제한할 수 있는데, graph의 edge는 node의 similarity 뿐만 아니라 부가적인 정보를 담을 ..

심화 스터디/Graph Study 2022. 11. 10. 00:03