KUBIG 2022-2 활동 블로그

https://arxiv.org/pdf/1607.06450.pdf 제목 : Layer normalization 저자 : Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton (University of Toronto) 이 글은 Batch Normalization에 관한 사전 지식이 필요합니다. Abstract 딥러닝 학습에는 많은 비용이 들기 때문에 효율적으로 학습하는 방법을 개발해야 함 Normalization 기법을 통해 비용을 획기적으로 줄일 수 있음 기존의 Batch Normalization(BN)은 mini-batch 사이즈에 영향을 받음 기존의 BN은 또한 RNN에서 적용하는 방법이 분명하지 않음 이를 개선하기 위해 1 Batch를 대상으로 Normaliza..

심화 스터디/Advanced ML & DL paper review 2022. 11. 10. 17:06

0.Abstract 이 논문에서는 매우 큰 데이터셋에서 연속적인 단어의 벡터 표현을 계산하기 위한 두 가지의 새로운 Model Architectures을 제시한다. 이렇게 만들어진 모델은 단어 유사도 task을 기준으로 기존의 다른 NN 모델들과 비교 평가되었고, 훨씬 낮은 계산 비용에서 큰 정확도의 향상을 발견했다. (16억개 단어 데이터셋을 벡터화하는 데 하루 밖에 안 걸린다고 한다.) 그리고 이 모델로 문법적syntactic, 의미적semantic 단어 유사도에서 SOTA를 달성했다고 한다. 1. Introduction 2013년 당시 많은 NLP 시스템들과 기술들은 단어를 원자 단위atomic units로 처리하였다. atomic units로 계산하면 간단하고 범용적이며, 많은 데이터로 학습한 간..

심화 스터디/Advanced ML & DL paper review 2022. 11. 10. 16:14

작성자: 15기 우명진 1. Introduction generator model(위조범, 거짓 화폐를 생산함) vs. discriminative model(경찰, 위조 화폐를 구별해냄) → 두 모델은 서로 겅쟁을 통해 성능을 향상 시켜 나간다. (Advsersarial Model) GAN 모델은 unsupervised learning으로, generator model은 노이즈로부터 실제 데이터와 유사한 가짜 이미지를 생성한다. 그리고 discriminator model은 fake image를 실제 데이터와 구별하여 판별하도록 학습한다. -Generative Model과 Discriminative Model은 모두 다층 퍼셉트론이어서 Markov Chain을 사용하지 않고, backpropagation과 ..

심화 스터디/Advanced ML & DL paper review 2022. 11. 10. 01:13

작성자 : 14기 김태영 논문링크 : Multivariate LSTM-FCNs for Time Series Classification Multivariate LSTM-FCNs for Time Series Classification Over the past decade, multivariate time series classification has received great attention. We propose transforming the existing univariate time series classification models, the Long Short Term Memory Fully Convolutional Network (LSTM-FCN) and Attention L arxiv.org 1...

심화 스터디/Advanced ML & DL paper review 2022. 11. 9. 23:21

작성자: 15기 박지우 0. introduction ? 경험으로부터 기계가 어떻게 학습을 할 수 있을까? -> 확률적 모델링은 학습이 무엇인지 이해하기 위한 프레임 워크를 제공하여 경험을 통해 획득한 데이터로부터 학습하는 시스템 설계를 위한 주요 이론 및 실제적 접근법의 하나로 주목받고 있다 - 확률적 프로그래밍 - 베이지안 최적화 - 데이터 압축 및 자동 모델 발견 ? 불확실성 - 기계가 추론 모델을 사용하여 미래 데이터 예측할 수 있다 할 때 이 모든 것에서 근본적인 역할을 하는 것 1. 확률적 모델링 및 불확실성 표현 학습되지 않는 데이터에 대한 추론을 해야하는 모델은 각 모델의 특성에 맞게 몇 가지의 가정이 필요로 한다 -> 불확실성을 고려하여 적절히 정의도이어야 한다 -> 어떤 민감한 모델도 비..

심화 스터디/Advanced ML & DL paper review 2022. 11. 9. 19:50

작성자: 15기 이병주 논문 링크: DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY 리뷰 영상 :https://www.youtube.com/watch?v=wSgnhxZ3iQo (출처:DSBA) 1. Introduction deep anomaly detection(DAD) method를 리뷰하고 다양한 도메인의 적용과 효율성을 평가하는 survey 2. What is anomaly? 데이터마이닝, 통계학에선 abnormalities, deviants, or outliers 라고도 한다. 대부분 모여있는 N1,N2가 정상 데이터, O1, O2, O3는 anomalies. point anomalies : O1, O2 같은 event 한개 씩 contextual anomalie..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 18:55

작성자: 15기 조우영 Introduction 목적: Classification, Novelty Detection, Summarization 등의 task를 수행하는데에 있어 필요한 통계적인 관계들은 보존하면서 말뭉치의 효율적인 연산을 가능하게 하는 short description(주로 topic)을 찾겠다. 선행 연구들 tf-idf: tf와 idf를 이용하여 document term matrix내의 각 단어들마다 중요도를 가중치로 주는 방법 모든 문서에서 등장하는 단어는 중요도(tf-idf값)가 낮게 책정되고, 특정 문서에서만 자주 등장하는 단어는 중요도(tf-idf값)가 높게 책정된다. tf(d, t): 문서 d에서 단어 t의 등장 횟수 df(t): 단어 t가 등장한 문서의 수 idf(d, t): d..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 18:09

작성자: 15기 우명진 1. Introduction Gradient boosting decision tree(GDBT)은 효율성, 정확성, 해석력으로 인해서 많이 사용된다. - 다항 클라스 분류, 클릭 예측, 순위 매기기 등의 task에서 사용된다 그러나 최근 들어서는 정확성과 효율성의 tradeoff에서 challenging하고 있다 기존의 GBDT는 모든 데이터를 이용하여 정보를 얻었다. 그렇기 때문에 피쳐의 개수와 데이터의 개수에 비례해서 시간이 오래걸렸다 따라서 해당 논문에서는 두가지 방법을 이용하여 task의 개수를 줄이는 방법을 제시한다 데이터의 개수와 피쳐의 개수를 줄이는 방법을 제안한다. 1. Gradient-based One-Side Sampling(GOSS) Gradient가 큰 ins..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 18:07