KUBIG 2022-2 활동 블로그

작성자 : 김지후 1. Introduction 셀프 트레이닝(self-training) 방법인 ELMo, GPT, BERT, XLM, XLNet은 상당한 성능의 개선을 이루어냈습니다. 그러나 방법의 어떤 측면이 기여했는지에 결정하기 어렵습니다. 학습의 과정은 무거워 제한된 튜닝이 가능합니다. 그리고 private 학습데이터를 사용해 모델링의 영향을 측정하는 것이 제한됩니다. 본 논문은 **BERT의 재현 연구(Replication study)**를 통해 하이퍼파라미터의 영향과 학습데이터 셋의 영향을 보여줍니다. 그리고 BERT가 완벽하지 않고 성능이 개선될 수 있음을 확인했습니다. 그렇게 개선한 모델이 RoBERTa입니다. 수정 사항은 다음과 같습니다. (1) 모델을 더 길고, 더 큰 배치 사이즈로 학습..

심화 스터디/논문 리뷰 2022. 9. 29. 20:23

Abstract 본 논문에서는 적대적 과정을 통해 generative model을 추정하는 새로운 framework를 제안하였다. 데이터의 분포를 포착하는 생성자 G와 sample이 G가 아닌 training data로부터 나왔을 확률을 추정하는 판별자 D가 동시에 train되는 것이 핵심이다. G는 D가 실수를 할 확률을 최대화하는 방향으로 학습되고 D는 그 실수를 최대한 줄이려는 방향으로 학습된다. 즉, 게임이론의 한종류인 minimax two-player game(추정되는 최대의 손실을 최소화하는 기법, 서로 최선의 선택을 한다고 가정)으로 귀결된다. 이 게임에서는 G가 training data distribution을 갖게되고, D가 sample을 맞게 분류할 확률이 1/2에 도달하게 되는 un..

심화 스터디/CV 논문 리뷰 2022. 9. 29. 18:56

15기 반민정 태블로 신병훈련소 6일차에서는 지난 4일차에서 배웠던 테이블 계산식에서 더 심화된 내용과 세부수준 계산식에 대해서 배웠습니다. 1. 테이블 계산식 - 차이 주식 데이터를 가지고 전일 대비 종가가 상승했는지 하락했는지 나타내는 차트를 그린다. 1. 2019년의 일 별 종가를 라인과 원으로 각각 나타내고 이중축으로 합친다. 2. 원으로 표시된 종가의 색상을 '전일 대비 종가 등락 여부'로 표현한다. -> 상승: 파랑, 동일: 주황, 하락: 빨강 2-1. 전일 대비 종가 등락 여부는 등락률을 이용하여 계산된 필드를 만든다. 2-2. 계산된 필드를 색상에 가져다 놓는다. + 원 마크에 URL 첨부하기 -코드명을 원 마크의 세부정보에 추가한다. -워크시트 > 동작 에 들어가서 URL 추가 작업(동작..

카테고리 없음 2022. 9. 29. 01:00

Paper: Generative Adversarial Networks We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that arxiv.org Abstract 논문에서는 적대적과정(adversarial process)을 통해 generative model(생성모델)을 추정하는 새로운 방식을 제시한다. 생성 모..

심화 스터디/CV 논문 리뷰 2022. 9. 29. 00:55

1. ABSTRACT We propose a new framework for estimating generative models via an adversar-ial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mis..

심화 스터디/CV 논문 리뷰 2022. 9. 28. 13:02

태블로 신병 스터디 2일차 과제: 워드클라우드&박스플롯&계산된 필드 만들기 2일차 과제는 1일차 데이터를 토대로 조금 더 심화된 시각화를 진행했습니다! 과제 1: 워드 클라우드 목표: 가장 칼로리가 높은 메뉴명 한 눈에 살펴보기 마크 유형을 텍스트로 선택하고, 제품명을 텍스트에 가져다 놓는다. 다음과 같이 메뉴명을 한 눈에 볼 수 있다. 마크의 색상을 칼로리로 변경해, 칼로리에 따라 색상이 다르게 보이도록 한다. * 칼로리가 높으면 붉은색, 낮으면 푸른색으로 설정 칼로리가 높은 메뉴를 이전보다 쉽게 확인할 수 있다. 그러나 아직까지는 우리가 아는 워드클라우드의 모습과는 약간 다르다. 마크의 크기를 칼로리로 표시해, 단어의 크기에 차이를 둔다. 우리가 아는 모습의 워드 클라우드가 만들어졌다! 과제 2: 박..

심화 스터디/태블로 2022. 9. 26. 09:21

들어가기 2014년 Google Brain의 Ian Goodfellow가 NIPS에서 발표한 Generative Adversarial Nets을 통해 생성 모델링의 개념이 처음 도입되었다. 딥러닝의 아버지인 얀 르쿤 교수는 이를 가리켜 최신 10년 동안 가장 혁신적인 아이디어라고 밝혔다. 해당 논문이 발간된 이후, 엄청나게 많은 양의 GAN 관련 모델이 쏟아져 나오기 시작하는데, 모든 최신 생성모델들이 뿌리를 두고 있는 Generative Adversarial Nets 논문을 리뷰해보도록 하자. 0. Abstract 본 논문에서는 두 개의 모델을 적대적(adversarial)으로 동시에 학습시키는 생성모델(generative model)을 제안한다. 생성자 모델 (G, a generative model)..

심화 스터디/CV 논문 리뷰 2022. 9. 26. 03:01

작성자 : 16기 하예은 본 포스팅은 다음 자료들을 참고하여 작성되었습니다. - https://hongl.tistory.com/158 - https://pytorch.org/docs/stable/generated/torch.Tensor.backward.html - https://blog.paperspace.com/pytorch-101-understanding-graphs-and-automatic-differentiation/ 1. 문제 상황 정의 gradient를 구하기 위해서는 tensor의 requires_grad인자에 True 값을 부여한 후, backward 함수를 사용해야 한다. 그러나 gradient가 계속 누적되는 현상이 발생한다. 따라서 문제 상황은 'PyTorch에서 backward 함수..

심화 스터디/Dive into Deep Learning 2022. 9. 25. 21:31