KUBIG 2022-2 활동 블로그

작성자 : 14기 김태영 논문 링크 : BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding 1. Introduction BERT가 등장하기 이전의 SOTA 모델로는 GPT-1이 있었고 이는 많은 양의 데이터로 학습된 pre-trained된 모델이었다. 하지만 GPT-1을 포함한 기존 모델들은 문장을 학습할 때 순차적으로 읽어가며 학습해야 한다는 단점이 있었다. 단어 임베딩에서 Transformer를 사용하여 Attention을 통해 토큰 간 관계를 잘 파악하도록 작업할 수 있었지만 결국 예측할 때는 문장을 왼쪽부터 오른쪽으로 읽으며 예측해 이전 토큰만 참조할 수 있다는 단점은 여전히 존재했다. 이러한 단점은 다음..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 09:58

https://arxiv.org/pdf/2208.06677.pdf (Arxiv preprint) 제목 : Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models 저자 : Xingyu Xie1,2, Pan Zhou1, Huan Li3, Zhouchen Lin2, Shuicheng Yan1 (1 Sea AI Lab 2 Peking University 3 Nankai University) 업로드일 : [Submitted on 13 Aug 2022 (v1), last revised 18 Oct 2022 (this version, v3)] 논문 소개 딥러닝 모델 최적화를 위한 Optimizer는 많은 발전을 거듭해왔습니다. SGD부..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 01:18

작성자 : 채윤병 1. Introduction 논문의 목적 : 분자 그래프로부터 화학적 성질 예측을 위한 분자의 특성을 학습할 수 있고 그래프 동형(graph isomorphism)문제에 대해 invariant한 효과적인 머신러닝 모델을 제안하는 것 그래프 동형(graph isomorphism) - 노드의 순서의 차이로 인해 다르게 표현되지만 완전히 같은 구조를 가지고 있는 그래프 → MPNN(Message Passing Neural Networks) QM9 dataset - 화학 분자 benchmark dataset, 13만개의 분자의 DFT 연산으로 근사한 13가지 특성이 존재 DFT(Density functional theory)? - 기본 재료 특성과 같은 고차 매개변수를 요구하지 않고 양자 역학..

심화 스터디/Graph Study 2022. 11. 2. 11:24

기존의 seq2seq 모델은 인코더-디코더 구조로 구성되어져 있었다. 여기서 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해서 출력 시퀀스를 만들어냈다. 하지만 이러한 구조는 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실된다는 단점이 있었고, 이를 보정하기 위해 어텐션이 사용되었다. 어텐션을 RNN의 보정을 위한 용도로서 사용하는 것이 아니라 어텐션만으로 인코더와 디코더를 만들었고 이를 Transformer라 명명했다. 1. Attention Mechanism RNN에 기반한 seq2seq모델에는 크게 두가지 문제가 있다. 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생한다. RNN의 고질적인 기울..

심화 스터디/CV 논문 리뷰 2022. 11. 1. 15:19

작성자: 15기 박지우 1. introduction ROC(receiver operating characteristics) graph는 분류기의 성능을 파악하여 모델을 고르고 시각화하는데 유용한 기법이다. 시각적으로 맞은 비율과 틀린 비율의 tradeoff를 보여줄 수 있고 보통 진단시스템의 성능을 파악할 때 많이 쓰이는 평가지표이다. true positive rate = positives correctly classified / total positives (TP/P) false positive rate = negatives incorrectly classified / total negatives (FP/N) 2. ROC space : tp rate를 Y축에 넣고 fp rate를 X축에 넣은 이차원 그..

심화 스터디/Advanced ML & DL paper review 2022. 10. 31. 17:54

1. Introduction and Motivation attention 구조 복습! : 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고 : 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 보는 것 이러한 attention 구조를 통해 우리는 신경 모델의 내부를 확인하고 해석할 수 있을 것이라고 생각한다 그러나 이 통념은 확실하게 평가되지 않았고, 논문에선 두 가지 제안을 하면서 여러 NLP task (text classification, QA, Natural Language Inference )에서 그 제안들이 여전히 성립하는지 확인하고자 하였다. attention weight와 feat..

심화 스터디/논문 리뷰 2022. 10. 30. 18:08

▶️한 줄 요약 : input - question - answer 세 가지 데이터 셋과 episodic memory module로 구성된 Dynamic Memory Network (DMN)를 활용하여 정교한 추론을 요구하는 NLP task에 적용 1. Introduction 일반적으로 QA는 본문의 내용을 이해하는 작업 + 관련 사실에 대해서 추론하는 작업 이 두 가지를 필요로 한다. 논문에서는 여러 QA를 기반으로 진행할 수 있는 여러 NLP task(machine translation, part-of-speech tagging, sentiment anaylsis 등등) 에 적용할 수 있는 Dynamic Memory Network를 제안한다. DMN의 기본적인 역할 두 가지는 → 반복적인 attenti..

심화 스터디/논문 리뷰 2022. 10. 30. 17:49

작성자: 15기 박지우 0. Summary Convolutional Layer를 통과하여 feature map를 만든다. 이 Map를 가지고 RPN(region proposal netwrok) 가 ROI , 즉 보아야 할곳을 지정해준다. 그것을 통해서 Fast RCNN은 이미지를 분석한다고 보면 된다. ** Fast RCNN 학습 과정에서 conv features를 공유한다. (RPN/Fast RCNN) 1. Datasets Masks play a crucial role in protecting the health of individuals against respiratory diseases, as is one of the few precautions available for COVID-19 in the..

심화 스터디/Advanced ML & DL paper review 2022. 10. 13. 00:35