KUBIG 2022-2 활동 블로그

1. Introduction NN의 예측값을 설명하기 위한 보통의 방법 = 가장 model의 confidence에 영향을 주는 input feature를 찾아서 설명 (ex. 히트맵 그리기) 그러나 이미지에 pure noise가 있다거나, text에 의미없는 snippet이 숨어있는 등과 같이 input에 결함이 많은 상황인데 Neural Network의 confidence를 측정하고자 한다면 그에 따른 설명력은 강한 설득력을 얻기가 어렵다 이를 해결하기 위해 논문에선 Deep k-Nearest Neighbors를 제안하고 model의 uncertainty를 설명할 수 있는 지표로 conformity를 사용한다. (train data의 hidden representation과 비교해서 얼마나 test p..

심화 스터디/논문 리뷰 2022. 11. 24. 19:54

💡 2017년 발표된 논문으로, Factorization Machines를 신경망으로 확장한 DeepFM 모델을 제안하고 있다. DeepFM이란 click trhough rate(CTR)을 예측하는 모델이다. 이는 Factorization-Machine(FM)과 Deep Learning(DL)을 통합한 것으로, feature들의 interaction을 모델링 하는 것이 특징이다. 기존 모델들은 low-order feature interaction 또는 high-order feature interaction 중 하나만 고려한 반면, DeepFM은 두 interaction을 모두 표현할 수 있는것이 핵심이다. 이와 비슷한 아이디어를 갖는 Wide & Deep model과 달리 DeepFM은 FM파트와 DL파..

심화 스터디/논문 리뷰 2022. 11. 24. 19:52

1. 데이터 로드 https://www.kaggle.com/c/word2vec-nlp-tutorial Bag of Words Meets Bags of Popcorn | Kaggle www.kaggle.com import pandas as pd train = pd.read_csv('https://raw.githubusercontent.com/corazzon/KaggleStruggle/master/word2vec-nlp-tutorial/data/labeledTrainData.tsv', header=0, delimiter='\t', quoting=3) test = pd.read_csv('https://raw.githubusercontent.com/corazzon/KaggleStruggle/master/word..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 18:45

작성자: 15기 조우영 논문: Long Short-Term Memory 논문에 대한 리뷰: https://kubig-2022-2.tistory.com/107 [Advanced ML & DL Week 5] Long Short-Term Memory 작성자: 15기 조우영 Introduction 목적: Sequential data를 학습하기 위해 기존의 RNN 구조는 시간이 오래 걸리거나 vanishing gradient, exploding gradient 때문에 학습이 정상적으로 진행되지 않는 문제들을 보완 kubig-2022-2.tistory.com Original LSTM from Scratch Original LSTM에서 사용되는 tanh의 변형인 squash activation function을 만들..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 17:52

작성자: 15기 박지우 0. 논문 링크 [2011.08785] PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization (arxiv.org) PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization We present a new framework for Patch Distribution Modeling, PaDiM, to concurrently detect and localize anomalies in images in a one-class learning setting. PaDiM makes use of a pr..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 17:15

https://s3.us-west-2.amazonaws.com/secure.notion-static.com/4b3f512e-3c36-4135-927c-38d13ecbfef2/1412.3555.pdf?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Content-Sha256=UNSIGNED-PAYLOAD&X-Amz-Credential=AKIAT73L2G45EIPT3X45%2F20221124%2Fus-west-2%2Fs3%2Faws4_request&X-Amz-Date=20221124T073907Z&X-Amz-Expires=86400&X-Amz-Signature=7217510ef7422677b8f9907a2359a8c14aaf2bf436261f5a788c21fd41c091f6&X-Amz-..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 16:42

작성자 : 14기 김태영 논문링크 : Multivariate LSTM-FCNs for Time Series Classification Multivariate LSTM-FCNs for Time Series Classification Over the past decade, multivariate time series classification has received great attention. We propose transforming the existing univariate time series classification models, the Long Short Term Memory Fully Convolutional Network (LSTM-FCN) and Attention L arxiv.org 1...

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 14:57

작성자: 고태영 본 코드리뷰는 https://www.kaggle.com/code/kanncaa1/time-series-prediction-tutorial-with-eda/notebook을 참고하여 작성하였습니다. 관련 라이브러리 및 데이터 불러오기 / EDA의 경우 생략 (1) 데이터 Cleaning # drop countries that are NaN aerial = aerial[pd.isna(aerial.Country)==False] # drop if target longitude is NaN aerial = aerial[pd.isna(aerial['Target Longitude'])==False] # Drop if takeoff longitude is NaN aerial = aerial[pd.isn..

심화 스터디/시계열 2022. 11. 24. 13:16