KUBIG 2022-2 활동 블로그

작성자: 15기 이승은 Contrastive Learning 대상들의 차이를 명확하게 보여줄 수 있도록 학습 -> 차이의 기준: 거리 Note. SimCLR image augmentation을 통해 positive pairs 생성 -> self-supervised image recognition: contrastive learning (contrastive loss) – 정답 target을 주지 않고 이미지를 분류할 수 있는 feature를 학습 (아래의 Moco와 비교했을 때, 모든 image에 대해서 loss를 계산하여 update: out of memory error) deep metric learning: deep neural network로 적절한 manifold를 찾아서 하는 metric le..

심화 스터디/논문 리뷰 2022. 11. 24. 19:55

Introduction Click-through rate(CTR), 유저가 추천 아이템을 클릭할 확률의 예측은 추천시스템에서 중요한 태스크이다. 많은 추천시스템이서 클릭의 수를 최대화하는 것이 목표이고 CTR 예측을 통해서 유저에게 추천할 아이템의 순위를 정할 수 있다. CTR을 정확히 예측하기 위해서 변수 간의 interaction을 파악하는 것이 중요하다. 예시) 사람들은 식사시간에 배달앱을 다운로드하는 경향이 있다. → ‘앱 카테고리’와 ‘시간’간의 interaction 존재 (order-2 interaction) 10대 남자들은 rpg 게임을 선호한다. → ‘앱 카테고리’, ‘성별’ 와 ‘나이’간의 interaction 존재 (order-3 interaction) 저차원 그리고 고차원 상호작용 둘..

심화 스터디/논문 리뷰 2022. 11. 24. 19:55

1. Introduction NN의 예측값을 설명하기 위한 보통의 방법 = 가장 model의 confidence에 영향을 주는 input feature를 찾아서 설명 (ex. 히트맵 그리기) 그러나 이미지에 pure noise가 있다거나, text에 의미없는 snippet이 숨어있는 등과 같이 input에 결함이 많은 상황인데 Neural Network의 confidence를 측정하고자 한다면 그에 따른 설명력은 강한 설득력을 얻기가 어렵다 이를 해결하기 위해 논문에선 Deep k-Nearest Neighbors를 제안하고 model의 uncertainty를 설명할 수 있는 지표로 conformity를 사용한다. (train data의 hidden representation과 비교해서 얼마나 test p..

심화 스터디/논문 리뷰 2022. 11. 24. 19:54

💡 2017년 발표된 논문으로, Factorization Machines를 신경망으로 확장한 DeepFM 모델을 제안하고 있다. DeepFM이란 click trhough rate(CTR)을 예측하는 모델이다. 이는 Factorization-Machine(FM)과 Deep Learning(DL)을 통합한 것으로, feature들의 interaction을 모델링 하는 것이 특징이다. 기존 모델들은 low-order feature interaction 또는 high-order feature interaction 중 하나만 고려한 반면, DeepFM은 두 interaction을 모두 표현할 수 있는것이 핵심이다. 이와 비슷한 아이디어를 갖는 Wide & Deep model과 달리 DeepFM은 FM파트와 DL파..

심화 스터디/논문 리뷰 2022. 11. 24. 19:52

1. Introduction 머신러닝과는 다르게 딥러닝에서는 최종 결과물을 얻었을 때 그 결과물을 설명할 수 있는 인간이 이해할 수 있는 feature를 제공하는 것이 어렵다. (black-box) 특히나 NLP에선 워드 임베딩의 높은 차원수로 인한 복잡성과 같은 요인들로 인해 명확하게 모델이 왜 그 결정을 내리게 되었는지를 알아내기가 어렵다. 감정분석이나 POS 태깅 같은 작업에서는 최종적으로 나타난 단어의 표현을 색칠한다던지, hidden state를 도출해내는 방법으로 시각화 혹은 결과에 대한 설명을 할 수 있었으나 자연어 추론 분야(Natural Language Inference) 에서는 그것을 설명하는 것이 더욱 어렵다. 따라서 논문에서는 “saliency”개념을 attention과 LSTM g..

심화 스터디/논문 리뷰 2022. 11. 10. 20:08

작성자: 15기 이승은 1. Introduction 머신러닝/딥러닝 모델의 “불확실성”에 관하여 내가 만든 모델이 “모른다”라고 말할 수 있어야 한다 그리고 “모른다”라고 말할 수 있는 기준이 “불확실성” e.g.) 강아지와 고양이를 분류하는 모델 → 앵무새 사진이 들어왔을 때 “모른다”라고 말할 수 있어야지, 강아지나 고양이 둘 중 하나로 분류하면 안된다 이러한 불확실성에도 종류가 있다. 1) Epistemic Uncertainty (modEl) 모델로부터 나오는 불확실성 모델링을 하는 과정에서 이 모델이 내린 결정이 얼마나 불확실한지를 나타내는 지표 2) Aleatoric Uncertainty (dAta) 데이터로부터 나오는 불확실성 (데이터를 수집하는 과정에서 발생한 불확실성) 2-1) Homosc..

심화 스터디/논문 리뷰 2022. 11. 10. 20:08

💡 2018년, Google에서 공개한 SentencePiece에 관한 논문으로, BERT에 대표적으로 활용되는 Subword Segmentation인 SentencePiece를 소개하는 논문이다. (지금까지 1972회 인용됨) 본 논문은 신경망 기반의 언어 처리를 위해 고안된 언어에 의존하지 않는(language-independent) subword tokenizer와 detokenizer인 SentencePiece를 소개한다. 기존에 있던 subword segmentation tool들은 input을 단어들로 pre-tokenized하는 것을 가정하고 있지만, SentencePiece는 raw 문장에서 subword 모델을 직접 학습할 수 있다. 영어-일본어 기계번역 실험을 통해 검증 과정을 거쳤으며..

심화 스터디/논문 리뷰 2022. 11. 10. 20:04

Abstract 비선형 변수 변환을 활용 선형모델은 sparse 변수를 사용하는 분류와 회귀 문제에서 많이 사용된다. wide set of cross-product feature transformations을 사용한 Memorization(기억)은 효율적이고 해석가능하다. 반면에 generalization은 피쳐 엔지니어링이 필요하다. deep neural networks은 적은 피처 엔지니어링 과정을 가지고도 sparse 변수를 저차원 embedding 시켜 변수간의 보이지 않는 조합을 generalization(일반화)하는데 유용하다. 하지만 과도한 일반화가 되어 user-item interaction이 sparse할 때 관련이 거의 없는 item을 추천할 수 있다. 본 논문에서는 추천시스템에서 me..

심화 스터디/논문 리뷰 2022. 11. 10. 19:58