KUBIG 2022-2 활동 블로그

0 Abstract 추천 시스템에서 사용자(user)의 dynamic preference를 학습하는 것은 어렵고도 중요한 문제이다. 이전에는 이런 문제를 Sequential Neural Network로 다루었다. 왼쪽에서 오른쪽으로 사용자의 과거 상호 작용을 숨겨진 표현으로 인코딩하는 방식이었다. 그러나 이 방식은 두 가지 문제를 가진다. a) 단방향 구조는 사용자의 행동 시퀀스에서 숨겨진 표현의 효과를 제한한다. b) 엄격하게 정렬된 순서를 가정하기 때문에 실용적이지 않다. 그래서 저자는 BERT4Rec을 제안한다. 이 모델은 deep bidirectional self-attention을 사용하는 순차적 추천 모델이다. 그리고 정보의 누수 없이 효율적으로 양방향 학습을 하기 위해 Cloze object..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 17:49

작성자 : 14기 김태영 논문 링크 : BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding 1. Introduction BERT가 등장하기 이전의 SOTA 모델로는 GPT-1이 있었고 이는 많은 양의 데이터로 학습된 pre-trained된 모델이었다. 하지만 GPT-1을 포함한 기존 모델들은 문장을 학습할 때 순차적으로 읽어가며 학습해야 한다는 단점이 있었다. 단어 임베딩에서 Transformer를 사용하여 Attention을 통해 토큰 간 관계를 잘 파악하도록 작업할 수 있었지만 결국 예측할 때는 문장을 왼쪽부터 오른쪽으로 읽으며 예측해 이전 토큰만 참조할 수 있다는 단점은 여전히 존재했다. 이러한 단점은 다음..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 09:58

https://arxiv.org/pdf/2208.06677.pdf (Arxiv preprint) 제목 : Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models 저자 : Xingyu Xie1,2, Pan Zhou1, Huan Li3, Zhouchen Lin2, Shuicheng Yan1 (1 Sea AI Lab 2 Peking University 3 Nankai University) 업로드일 : [Submitted on 13 Aug 2022 (v1), last revised 18 Oct 2022 (this version, v3)] 논문 소개 딥러닝 모델 최적화를 위한 Optimizer는 많은 발전을 거듭해왔습니다. SGD부..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 01:18

작성자: 15기 박지우 1. introduction ROC(receiver operating characteristics) graph는 분류기의 성능을 파악하여 모델을 고르고 시각화하는데 유용한 기법이다. 시각적으로 맞은 비율과 틀린 비율의 tradeoff를 보여줄 수 있고 보통 진단시스템의 성능을 파악할 때 많이 쓰이는 평가지표이다. true positive rate = positives correctly classified / total positives (TP/P) false positive rate = negatives incorrectly classified / total negatives (FP/N) 2. ROC space : tp rate를 Y축에 넣고 fp rate를 X축에 넣은 이차원 그..

심화 스터디/Advanced ML & DL paper review 2022. 10. 31. 17:54

작성자: 15기 박지우 0. Summary Convolutional Layer를 통과하여 feature map를 만든다. 이 Map를 가지고 RPN(region proposal netwrok) 가 ROI , 즉 보아야 할곳을 지정해준다. 그것을 통해서 Fast RCNN은 이미지를 분석한다고 보면 된다. ** Fast RCNN 학습 과정에서 conv features를 공유한다. (RPN/Fast RCNN) 1. Datasets Masks play a crucial role in protecting the health of individuals against respiratory diseases, as is one of the few precautions available for COVID-19 in the..

심화 스터디/Advanced ML & DL paper review 2022. 10. 13. 00:35

작성자 : 14기 김태영 논문링크 : Zero-shot Learning Through Cross-Modal Transfer 1. Introduction 1) Zero-Shot Learning Zero-Shot Laerning이란 "unseen example에 대해서 문제를 잘 해결할 수 있도록 모델을 학습하는 것"을 의미한다. 일반적으로 딥러닝 모델들은 training에 사용된 class만을 예측할 수 있다. 따라서 unseed example이 입력되더라도 내부 메커니즘에 의해 학습했던 seen class 중 하나로 예측하는 문제가 생기게 되는데 zero-shot learning은 이 때 train set에 포함되지 않는 unseen class를 예측하는 분야이다. 즉 다시 말하자면 unseen exam..

심화 스터디/Advanced ML & DL paper review 2022. 9. 22. 18:27

작성자: 15기 이병주 기존 clustering 알고리즘 기존엔 두가지 clustering 알고리즘이 존재. - partitioning 알고리즘 1단계: 목적함수를 최소화하는 k를 지정해준다. 2단계: 각 개체들을 대표 객체와 가장 가까운 클러스터에 할당한다. -hierarchical 알고리즘 여러개의 군집 중에서 가장 유사도가 높은 혹은 거리가 가까운 군집 두 개를 선택하여 하나로 합치면서 군집 개수를 줄여 가는 방법 가장 처음에는 모든 군집이 하나의 데이터만을 가진다. 따라서 최초에는 데이터 개수만큼 군집이 존재하지만 군집을 합치면서 최종적으로 하나의 군집만 남게 된다. 밀도 기반 클러스터링 클러스터를 인식할 수 있는 이유는 클러스터의 점들이 밀도가 높기 때문이다. 그리고 바깥부분은 밀도가 매우 낮은..

심화 스터디/Advanced ML & DL paper review 2022. 9. 22. 17:56

작성자: 15기 우명진 논문: Sequence to Sequence Learning with Neural Networks 저자: Ilya Sutskever, Oriol Vinyals, Quoc V. Le 논문 링크: https://s3.us-west-2.amazonaws.com/secure.notion-static.com/89be664f-f572-42b3-acb9-c5277b392000/5346-sequence-to-sequence-learning-with-neural-networks.pdf?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Content-Sha256=UNSIGNED-PAYLOAD&X-Amz-Credential=AKIAT73L2G45EIPT3X45%2F20220922%..

심화 스터디/Advanced ML & DL paper review 2022. 9. 22. 17:06