KUBIG 2022-2 활동 블로그

작성자 : 14기 김태영 논문링크 : Multivariate LSTM-FCNs for Time Series Classification Multivariate LSTM-FCNs for Time Series Classification Over the past decade, multivariate time series classification has received great attention. We propose transforming the existing univariate time series classification models, the Long Short Term Memory Fully Convolutional Network (LSTM-FCN) and Attention L arxiv.org 1...

심화 스터디/Advanced ML & DL paper review 2022. 11. 9. 23:21

작성자: 15기 박지우 0. introduction ? 경험으로부터 기계가 어떻게 학습을 할 수 있을까? -> 확률적 모델링은 학습이 무엇인지 이해하기 위한 프레임 워크를 제공하여 경험을 통해 획득한 데이터로부터 학습하는 시스템 설계를 위한 주요 이론 및 실제적 접근법의 하나로 주목받고 있다 - 확률적 프로그래밍 - 베이지안 최적화 - 데이터 압축 및 자동 모델 발견 ? 불확실성 - 기계가 추론 모델을 사용하여 미래 데이터 예측할 수 있다 할 때 이 모든 것에서 근본적인 역할을 하는 것 1. 확률적 모델링 및 불확실성 표현 학습되지 않는 데이터에 대한 추론을 해야하는 모델은 각 모델의 특성에 맞게 몇 가지의 가정이 필요로 한다 -> 불확실성을 고려하여 적절히 정의도이어야 한다 -> 어떤 민감한 모델도 비..

심화 스터디/Advanced ML & DL paper review 2022. 11. 9. 19:50

개요 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다.(우리가 Transformer를 알아야 하는 이유) GPT: Transformer의 Decoder 아키텍쳐 활용 BERT: Transformer의 Encoder 아키텍쳐 활용 기존의 Seq2Seq 모델들의 한계점 context vector v에 소스 문장의 정보를 압축해야만 했음 >> bottleneck이 발생하여 성능 하락의 원인이 됨 디코더가 context vector를 매번 참고할수는 있으나, 여전히 소스 문장을 하나의 벡터에 압축해야 함 즉, 하나의 문맥 벡터가 소스 문장의 모든 정보를 가지고 있어야 하므로 성능이 저하됨. Q: 매번 소스 문장에서의 출력 전부를 입력받게 할수는 없을까?? A: 어텐션..

심화 스터디/CV 논문 리뷰 2022. 11. 8. 02:21

작성자 : 김지호 본 포스팅은 Youtube 김성범 교수님의 ARIMA 모델 - Part4 강의영상을 참고하였습니다. - Moving Average Model - Auto Regressive Model - ARMA Model Q1. 세 모델 모두! 데이터가 정상성(Stationary) 를 만족하는 경우에만 적용한다. Q2. 정상성(Stationary) 을 만족하는 데이터의 특징 2가지 평균 일정. 분산 일정. 임의의 공분산이 시점 t에 의존하지 않고, 시간의 차이인 h에만 의존함 Q3. 다음 데이터는 정상성(Stationary) 를 가진다고 볼 수 있을까? 평균이 일정하지 않아서 X , 분산이 일정하지 않아서 Q4. 시계열 데이터가 정상성(Stationary) 을 가지는지 확인할 수 있는 방법 1. 그래..

심화 스터디/시계열 2022. 11. 3. 19:53

작성자: 15기 이병주 논문 링크: DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY 리뷰 영상 :https://www.youtube.com/watch?v=wSgnhxZ3iQo (출처:DSBA) 1. Introduction deep anomaly detection(DAD) method를 리뷰하고 다양한 도메인의 적용과 효율성을 평가하는 survey 2. What is anomaly? 데이터마이닝, 통계학에선 abnormalities, deviants, or outliers 라고도 한다. 대부분 모여있는 N1,N2가 정상 데이터, O1, O2, O3는 anomalies. point anomalies : O1, O2 같은 event 한개 씩 contextual anomalie..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 18:55

작성자: 15기 조우영 Introduction 목적: Classification, Novelty Detection, Summarization 등의 task를 수행하는데에 있어 필요한 통계적인 관계들은 보존하면서 말뭉치의 효율적인 연산을 가능하게 하는 short description(주로 topic)을 찾겠다. 선행 연구들 tf-idf: tf와 idf를 이용하여 document term matrix내의 각 단어들마다 중요도를 가중치로 주는 방법 모든 문서에서 등장하는 단어는 중요도(tf-idf값)가 낮게 책정되고, 특정 문서에서만 자주 등장하는 단어는 중요도(tf-idf값)가 높게 책정된다. tf(d, t): 문서 d에서 단어 t의 등장 횟수 df(t): 단어 t가 등장한 문서의 수 idf(d, t): d..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 18:09

작성자: 15기 우명진 1. Introduction Gradient boosting decision tree(GDBT)은 효율성, 정확성, 해석력으로 인해서 많이 사용된다. - 다항 클라스 분류, 클릭 예측, 순위 매기기 등의 task에서 사용된다 그러나 최근 들어서는 정확성과 효율성의 tradeoff에서 challenging하고 있다 기존의 GBDT는 모든 데이터를 이용하여 정보를 얻었다. 그렇기 때문에 피쳐의 개수와 데이터의 개수에 비례해서 시간이 오래걸렸다 따라서 해당 논문에서는 두가지 방법을 이용하여 task의 개수를 줄이는 방법을 제시한다 데이터의 개수와 피쳐의 개수를 줄이는 방법을 제안한다. 1. Gradient-based One-Side Sampling(GOSS) Gradient가 큰 ins..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 18:07

0 Abstract 추천 시스템에서 사용자(user)의 dynamic preference를 학습하는 것은 어렵고도 중요한 문제이다. 이전에는 이런 문제를 Sequential Neural Network로 다루었다. 왼쪽에서 오른쪽으로 사용자의 과거 상호 작용을 숨겨진 표현으로 인코딩하는 방식이었다. 그러나 이 방식은 두 가지 문제를 가진다. a) 단방향 구조는 사용자의 행동 시퀀스에서 숨겨진 표현의 효과를 제한한다. b) 엄격하게 정렬된 순서를 가정하기 때문에 실용적이지 않다. 그래서 저자는 BERT4Rec을 제안한다. 이 모델은 deep bidirectional self-attention을 사용하는 순차적 추천 모델이다. 그리고 정보의 누수 없이 효율적으로 양방향 학습을 하기 위해 Cloze object..

심화 스터디/Advanced ML & DL paper review 2022. 11. 3. 17:49