KUBIG 2022-2 활동 블로그

작성자: 16기 유우혁 본 포스팅은 다음 자료들을 참고하여 작성되었습니다. - https://www.youtube.com/watch?v=bNb2fEVKeEo&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&index=5 - https://d2l.ai/chapter_convolutional-neural-networks/index.html - deep learning with pytorch 1. Fully connected layer란? 다차원으로 이루어진 layer를 1차원으로 펼치는 layer다. 이미지는 다차원 공간에 담겨서 픽셀값들이 전달되게 된다. CNN을 통해서 결과적으로 이미지들을 분류하는 작업을 진행하는데, 이때 이러한 다차원 값들을 1차원 벡터로 펼쳐줘야 한다. 그래서..

심화 스터디/Dive into Deep Learning 2022. 11. 13. 23:57

해당 게시글은 고려대학교 김성범 교수님의 ARMA 모델 - Part 5 영상을 기반으로 작성되었습니다 통합 + 심층 자문자답 Review ARIMA 모델은 정상성(Stationary)을 이미 가졌을 때에 사용 정상성(Stationary) 1. 평균이 모든 시점 t에서 동일하다 : 추세, 계절성, 순환성 등의 패턴이 더이상 존재하지 않는다. 2. 분산이 모든 시점 t에서 동일하다 : 자료 변화의 폭이 일정하다 의문 1) stationary의 정의는 추세, 계절성, 순환성 등의 패턴이 더이상 존재하지 않는 경우라고 한다. 내가 생각하기에 시계열 데이터를 굳이 분석하는 이유는 그 데이터 속에 숨겨져 있는 '시계열'이 궁금해서이지 않은가? 즉, 그 데이터가 어떤 추세를 가지는지, 어떤 계절성을 가지는지를 알아내..

심화 스터디/시계열 2022. 11. 13. 20:16

* 작성자 : 15기 최민경 본 포스팅은 Youtube 김성범 교수님의 ARIMA 모델 - Part6 강의를 참고하여 작성되었습니다. Q1. AR모델도 white noise의 linear combination으로 표현이 가능하다. (O/X) A. O Q2. ARMA모델도 white noise의 linear combination으로 표현이 가능하다. (O/X) A. O Q3. white noise인 $a_t$의 성질은? 0 $\sigma _{a}^{2}$ 0, 시점이 다른 확률변수는 서로 독립 $\sigma _{a}^{2}$ $h=0$일 때 0 $h \neq 0$일 때 Prediction(Forecasting) Given $x_1, x_2, \cdots , x_t$, want to predict $x_{t..

심화 스터디/시계열 2022. 11. 13. 14:55

작성자: 15기 조우영 Introduction 목적: Sequential data를 학습하기 위해 기존의 RNN 구조는 시간이 오래 걸리거나 vanishing gradient, exploding gradient 때문에 학습이 정상적으로 진행되지 않는 문제들을 보완한 모델인 LSTM을 소개하고자 함 선행 연구들 Gradient-descent variants: time step이 커지면서 vanishing/exploding gradient 발생 Time-delays: long term에 대해서는 효과적이지 않음 Time constants: long term에 대해서는 효과적이지 않고, 별도의 tuning을 요구함 Ring’s approach: time step이 늘어날 때마다 그만큼 unit의 수도 늘어나고..

심화 스터디/Advanced ML & DL paper review 2022. 11. 11. 02:23

1. Introduction 머신러닝과는 다르게 딥러닝에서는 최종 결과물을 얻었을 때 그 결과물을 설명할 수 있는 인간이 이해할 수 있는 feature를 제공하는 것이 어렵다. (black-box) 특히나 NLP에선 워드 임베딩의 높은 차원수로 인한 복잡성과 같은 요인들로 인해 명확하게 모델이 왜 그 결정을 내리게 되었는지를 알아내기가 어렵다. 감정분석이나 POS 태깅 같은 작업에서는 최종적으로 나타난 단어의 표현을 색칠한다던지, hidden state를 도출해내는 방법으로 시각화 혹은 결과에 대한 설명을 할 수 있었으나 자연어 추론 분야(Natural Language Inference) 에서는 그것을 설명하는 것이 더욱 어렵다. 따라서 논문에서는 “saliency”개념을 attention과 LSTM g..

심화 스터디/논문 리뷰 2022. 11. 10. 20:08

작성자: 15기 이승은 1. Introduction 머신러닝/딥러닝 모델의 “불확실성”에 관하여 내가 만든 모델이 “모른다”라고 말할 수 있어야 한다 그리고 “모른다”라고 말할 수 있는 기준이 “불확실성” e.g.) 강아지와 고양이를 분류하는 모델 → 앵무새 사진이 들어왔을 때 “모른다”라고 말할 수 있어야지, 강아지나 고양이 둘 중 하나로 분류하면 안된다 이러한 불확실성에도 종류가 있다. 1) Epistemic Uncertainty (modEl) 모델로부터 나오는 불확실성 모델링을 하는 과정에서 이 모델이 내린 결정이 얼마나 불확실한지를 나타내는 지표 2) Aleatoric Uncertainty (dAta) 데이터로부터 나오는 불확실성 (데이터를 수집하는 과정에서 발생한 불확실성) 2-1) Homosc..

심화 스터디/논문 리뷰 2022. 11. 10. 20:08

💡 2018년, Google에서 공개한 SentencePiece에 관한 논문으로, BERT에 대표적으로 활용되는 Subword Segmentation인 SentencePiece를 소개하는 논문이다. (지금까지 1972회 인용됨) 본 논문은 신경망 기반의 언어 처리를 위해 고안된 언어에 의존하지 않는(language-independent) subword tokenizer와 detokenizer인 SentencePiece를 소개한다. 기존에 있던 subword segmentation tool들은 input을 단어들로 pre-tokenized하는 것을 가정하고 있지만, SentencePiece는 raw 문장에서 subword 모델을 직접 학습할 수 있다. 영어-일본어 기계번역 실험을 통해 검증 과정을 거쳤으며..

심화 스터디/논문 리뷰 2022. 11. 10. 20:04

Abstract 비선형 변수 변환을 활용 선형모델은 sparse 변수를 사용하는 분류와 회귀 문제에서 많이 사용된다. wide set of cross-product feature transformations을 사용한 Memorization(기억)은 효율적이고 해석가능하다. 반면에 generalization은 피쳐 엔지니어링이 필요하다. deep neural networks은 적은 피처 엔지니어링 과정을 가지고도 sparse 변수를 저차원 embedding 시켜 변수간의 보이지 않는 조합을 generalization(일반화)하는데 유용하다. 하지만 과도한 일반화가 되어 user-item interaction이 sparse할 때 관련이 거의 없는 item을 추천할 수 있다. 본 논문에서는 추천시스템에서 me..

심화 스터디/논문 리뷰 2022. 11. 10. 19:58