KUBIG 2022-2 활동 블로그

1. 데이터 로드 https://www.kaggle.com/c/word2vec-nlp-tutorial Bag of Words Meets Bags of Popcorn | Kaggle www.kaggle.com import pandas as pd train = pd.read_csv('https://raw.githubusercontent.com/corazzon/KaggleStruggle/master/word2vec-nlp-tutorial/data/labeledTrainData.tsv', header=0, delimiter='\t', quoting=3) test = pd.read_csv('https://raw.githubusercontent.com/corazzon/KaggleStruggle/master/word..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 18:45

작성자: 15기 조우영 논문: Long Short-Term Memory 논문에 대한 리뷰: https://kubig-2022-2.tistory.com/107 [Advanced ML & DL Week 5] Long Short-Term Memory 작성자: 15기 조우영 Introduction 목적: Sequential data를 학습하기 위해 기존의 RNN 구조는 시간이 오래 걸리거나 vanishing gradient, exploding gradient 때문에 학습이 정상적으로 진행되지 않는 문제들을 보완 kubig-2022-2.tistory.com Original LSTM from Scratch Original LSTM에서 사용되는 tanh의 변형인 squash activation function을 만들..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 17:52

작성자: 15기 박지우 0. 논문 링크 [2011.08785] PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization (arxiv.org) PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization We present a new framework for Patch Distribution Modeling, PaDiM, to concurrently detect and localize anomalies in images in a one-class learning setting. PaDiM makes use of a pr..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 17:15

https://s3.us-west-2.amazonaws.com/secure.notion-static.com/4b3f512e-3c36-4135-927c-38d13ecbfef2/1412.3555.pdf?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Content-Sha256=UNSIGNED-PAYLOAD&X-Amz-Credential=AKIAT73L2G45EIPT3X45%2F20221124%2Fus-west-2%2Fs3%2Faws4_request&X-Amz-Date=20221124T073907Z&X-Amz-Expires=86400&X-Amz-Signature=7217510ef7422677b8f9907a2359a8c14aaf2bf436261f5a788c21fd41c091f6&X-Amz-..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 16:42

작성자 : 14기 김태영 논문링크 : Multivariate LSTM-FCNs for Time Series Classification Multivariate LSTM-FCNs for Time Series Classification Over the past decade, multivariate time series classification has received great attention. We propose transforming the existing univariate time series classification models, the Long Short Term Memory Fully Convolutional Network (LSTM-FCN) and Attention L arxiv.org 1...

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 14:57

작성자: 15기 우명진 지난주에 GAN 논문에 대해서 리뷰를 진행했습니다. 이후 Deep Convolutional Generative Adversarial Networks(DCGAN)이라고 하여 GAN에서 파생된 모델이 있다는 것을 알게 되어 추가적인 공부를 진행해보았습니다. GAN의 단점으로는 구조가 불안정하고, NN이 가진 한계점('어떠한 과정을 거쳐서 이런 결과가 나오는건가'에 대한 설명)을 지녔습니다. DCGAN의 가장 큰 차이점은 Generator와 Discriminator에서 convolution(합성곱 신경망)과 convolution-transpose(전치 합성곱 신경망)을 사용했다는 점입니다. 구체적으로는, Discriminator에서는 convolution 계층, batch norm 계층..

심화 스터디/Advanced ML & DL paper review 2022. 11. 24. 00:51

작성자: 15기 조우영 Introduction 목적: Sequential data를 학습하기 위해 기존의 RNN 구조는 시간이 오래 걸리거나 vanishing gradient, exploding gradient 때문에 학습이 정상적으로 진행되지 않는 문제들을 보완한 모델인 LSTM을 소개하고자 함 선행 연구들 Gradient-descent variants: time step이 커지면서 vanishing/exploding gradient 발생 Time-delays: long term에 대해서는 효과적이지 않음 Time constants: long term에 대해서는 효과적이지 않고, 별도의 tuning을 요구함 Ring’s approach: time step이 늘어날 때마다 그만큼 unit의 수도 늘어나고..

심화 스터디/Advanced ML & DL paper review 2022. 11. 11. 02:23

작성자: 15기 이병주 기존 모델 LSTM-AE (Unsupervised) Training: 정상 데이터만 사용해서 정상 데이터의 분포를 학습함 Anomaly detection: 학습이 완료된 LSTM-AE를 기반으로 새로운 input의 reconstruction error가 threshold를 초과하면 이상치로 탐지 MAD-GAN (Unsupervised) Training: 정상 데이터만 사용해서 generator와 discriminator 를 학습함 Anomaly detection: 학습이 완료된 LSTM-AE를 기반으로 새로운 input의 reconstruction error가 threshold를 초과하면 이상치로 탐지 Introduction AE based, GAN based는 한계점이 있다. A..

심화 스터디/Advanced ML & DL paper review 2022. 11. 10. 18:31