KUBIG 2022-2 활동 블로그

고정 헤더 영역

글 제목

메뉴 레이어

KUBIG 2022-2 활동 블로그

메뉴 리스트

  • 홈
  • 태그
  • 방명록
  • 목록
  • 분류 전체보기 (133)
    • 소개 (4)
    • 방학 세션 (14)
      • 방학 스터디 (5)
      • KUBIG CONTEST (9)
    • 심화 스터디 (113)
      • Advanced ML & DL paper revi.. (34)
      • Dive into Deep Learning (11)
      • 논문 리뷰 (19)
      • CV 논문 리뷰 (19)
      • 시계열 (12)
      • Graph Study (7)
      • 태블로 (10)
    • 장기 프로젝트 (0)
      • 추천 시스템 1팀 (0)
      • 추천 시스템 2팀 (0)
      • 텍스트 (0)
      • CV 1팀 (0)
      • CV 2팀 (0)
      • CV 3팀 (0)
      • 분류 예측 1팀 (0)
      • 분류 예측 2팀 (0)
    • 알쓸쿠잡 (1)

검색 레이어

KUBIG 2022-2 활동 블로그

검색 영역

컨텐츠 검색

심화 스터디/CV 논문 리뷰

  • [CV 논문 리뷰 스터디 / 6주차 / 박민규] An Image is Worth 16x16 Words, Transformer for Image Recogniton at Scale, 2020

    2022.11.27 by 민규라면

  • [CV 논문 리뷰 스터디 / 5주차 / 공도웅 ]Attention is all you need, Transformer (NIPS2017)

    2022.11.10 by 우주베게

  • [CV 논문 리뷰 스터디 / 5주차 / 최경석 ] Attention is All You Need, Transformer (NIPS 2017)

    2022.11.10 by 경석

  • [CV 논문 리뷰 스터디 / 5주차 / 엄기영] Attention is All You Need, Transformer (2017)

    2022.11.10 by UKY

  • [CV 논문 리뷰 스터디 / 5주차 / 장수혁 ] Attention is All You Need, Transformer (2017)

    2022.11.08 by 혁수

  • [CV 논문 리뷰 스터디 / 4주차 / 박민규 ] Attention is All You Need, Transformer (2017)

    2022.11.01 by 민규라면

  • [CV 논문 리뷰 스터디 / 3주차 / 장수혁] Generative Adversarial Nets(GAN)

    2022.09.29 by 혁수

  • [CV 논문 리뷰 스터디 / 3주차 / 엄기영] Generative Adversarial Nets, 2014

    2022.09.29 by UKY

[CV 논문 리뷰 스터디 / 6주차 / 박민규] An Image is Worth 16x16 Words, Transformer for Image Recogniton at Scale, 2020

INTRODUCTION 1. Transforemer vs CNN CNN의 경우엔 멀리 떨어진 정보를 통합하기 위해서 여러 개의 layer를 통과해야 하지만, Transformer는 self-attention layer 하나만 거쳐도 멀리 떨어진 정보를 통합할 수 있다. 2. Inductive Bias 새로운 데이터에 대해 좋은 성능을 내기 위해 모델에 사전적으로 주어지는 가정; Training에서 보지 못한 데이터에 대해서도 적절한 귀납적 추론이 가능하도록 하기 위해 모델이 가지고 있는 가정들의 집합을 의미한다. CNN은 지역적인locality 정보 그리고 RNN은 순차적인sequentiality 정보이므로 이에 대한 inductive bias를 가진다. 반면 transformer는 CNN과 RNN에 비..

심화 스터디/CV 논문 리뷰 2022. 11. 27. 20:35

[CV 논문 리뷰 스터디 / 5주차 / 공도웅 ]Attention is all you need, Transformer (NIPS2017)

0. 개요 Transformer는 입력 시퀀스를 받아서 출력 시퀀스를 벡터로서 표현한다. RNN 모델과 입력 및 출력은 동일하나, 내부 구조에서의 차이가 존재한다. 기존의 RNN에서는 context vector를 앞에서부터 순차적으로 생생하고, 그 context vector를 이후 시점에서 활용하는 방식으로 구현하기 때문에 이후 시점의 연산은 앞 시점의 연산에 의존적일 수 밖에 없다. 따라서, 앞 시점의 연산이 끝나지 않을 경우, 그 뒤의 연산을 수행할 수 없으므로 병렬 처리가 불가능하다. 하지만 Transformer의 경우, attention 개념을 도입하여 모든 과정에 병렬처리가 가능하도록 하였다. 1. Transformer 모델 구조 Transformer의 전체구조는 위의 그림과 같다. input ..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 19:14

[CV 논문 리뷰 스터디 / 5주차 / 최경석 ] Attention is All You Need, Transformer (NIPS 2017)

https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 1. 개요 많은 딥러닝 모델, 특히 자연어 처리 분야의 모델들은 Transformer의 아키텍쳐를 기반으로 한다 GPT : Tran..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 02:19

[CV 논문 리뷰 스터디 / 5주차 / 엄기영] Attention is All You Need, Transformer (2017)

Paper: Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Abstract 논문 발표 당시 주도하던 *sequence transduction 모델은 encoder와 decoder를 포함한 복잡한 recurrent (RNN) 혹은 conv..

심화 스터디/CV 논문 리뷰 2022. 11. 10. 00:34

[CV 논문 리뷰 스터디 / 5주차 / 장수혁 ] Attention is All You Need, Transformer (2017)

개요 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다.(우리가 Transformer를 알아야 하는 이유) GPT: Transformer의 Decoder 아키텍쳐 활용 BERT: Transformer의 Encoder 아키텍쳐 활용 기존의 Seq2Seq 모델들의 한계점 context vector v에 소스 문장의 정보를 압축해야만 했음 >> bottleneck이 발생하여 성능 하락의 원인이 됨 디코더가 context vector를 매번 참고할수는 있으나, 여전히 소스 문장을 하나의 벡터에 압축해야 함 즉, 하나의 문맥 벡터가 소스 문장의 모든 정보를 가지고 있어야 하므로 성능이 저하됨. Q: 매번 소스 문장에서의 출력 전부를 입력받게 할수는 없을까?? A: 어텐션..

심화 스터디/CV 논문 리뷰 2022. 11. 8. 02:21

[CV 논문 리뷰 스터디 / 4주차 / 박민규 ] Attention is All You Need, Transformer (2017)

기존의 seq2seq 모델은 인코더-디코더 구조로 구성되어져 있었다. 여기서 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해서 출력 시퀀스를 만들어냈다. 하지만 이러한 구조는 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실된다는 단점이 있었고, 이를 보정하기 위해 어텐션이 사용되었다. 어텐션을 RNN의 보정을 위한 용도로서 사용하는 것이 아니라 어텐션만으로 인코더와 디코더를 만들었고 이를 Transformer라 명명했다. 1. Attention Mechanism RNN에 기반한 seq2seq모델에는 크게 두가지 문제가 있다. 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생한다. RNN의 고질적인 기울..

심화 스터디/CV 논문 리뷰 2022. 11. 1. 15:19

[CV 논문 리뷰 스터디 / 3주차 / 장수혁] Generative Adversarial Nets(GAN)

Abstract 본 논문에서는 적대적 과정을 통해 generative model을 추정하는 새로운 framework를 제안하였다. 데이터의 분포를 포착하는 생성자 G와 sample이 G가 아닌 training data로부터 나왔을 확률을 추정하는 판별자 D가 동시에 train되는 것이 핵심이다. G는 D가 실수를 할 확률을 최대화하는 방향으로 학습되고 D는 그 실수를 최대한 줄이려는 방향으로 학습된다. 즉, 게임이론의 한종류인 minimax two-player game(추정되는 최대의 손실을 최소화하는 기법, 서로 최선의 선택을 한다고 가정)으로 귀결된다. 이 게임에서는 G가 training data distribution을 갖게되고, D가 sample을 맞게 분류할 확률이 1/2에 도달하게 되는 un..

심화 스터디/CV 논문 리뷰 2022. 9. 29. 18:56

[CV 논문 리뷰 스터디 / 3주차 / 엄기영] Generative Adversarial Nets, 2014

Paper: Generative Adversarial Networks We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that arxiv.org Abstract 논문에서는 적대적과정(adversarial process)을 통해 generative model(생성모델)을 추정하는 새로운 방식을 제시한다. 생성 모..

심화 스터디/CV 논문 리뷰 2022. 9. 29. 00:55

추가 정보

인기글

최신글

페이징

이전
1 2 3
다음
TISTORY
KUBIG 2022-2 활동 블로그 © Magazine Lab
페이스북 트위터 인스타그램 유투브 메일

티스토리툴바