KUBIG 2022-2 활동 블로그

작성자: 15기 이승은 논문 리뷰 계기 최근 이미지 사이의 유사성에 관심 → 단순히 cosine similiarity로 계산 가능하지만 보다 고차원의 정보를 반영하여 이미지 사이의 유사성을 계산해보고 싶어졌음 → 기존의 Euclidean space (R^n)에서의 연산을 넘어 non-Euclidean space에서 Graph로 이미지를 다뤄보고 싶음 Graph로 과연 딥러닝을 어떻게 하는 것인가? non-Euclidean space에서 대상들 간 복잡한 관계나 상호 의존성 등을 그래프로 표현 가능 (화학 분자 구조, 사람들 간의 관계 네트워크, 쇼핑 상품 추천 등) 특히 머신러닝에서는 인스턴스들이 서로 독립적이어야 한다는 전제가 있으나 (Dropout이나 Multi-collinearity 제거 등) 그래..

심화 스터디/논문 리뷰 2022. 9. 15. 20:32

작성자 : 남정재 ### 최근 자연어처리 연구트렌드를 정리한 페이퍼로, 2003년 Neural Language Model부터 2018년 BERT까지 Word Embedding 방법론의 발전 흐름을 6가지 모델을 중심으로 리뷰 진행 ### 본 논문을 리뷰한 DSBA 세미나 영상을 참고하여 NLP의 핵심이 되는 모델들 위주로 살펴보았습니다. [Sparse Embedding] 1) One-hot Encoding Text Corpus에서 중복을 제외한 모든 단어들에 대해 Vocab Dictionary를 구축 이때 단어 사전 내에서 각 단어들은 고유한 정수 인덱스 번호를 부여받게됨 이 인덱스 번호에 따라서 원 핫 벡터를 생성하게 되는데, 단어들의 인덱스 번호에 해당하는 위치에 1, 나머지는 0으로 생성됨 이때 원..

심화 스터디/논문 리뷰 2022. 9. 15. 20:30

작성자: 김지후 1. Introduction 본 논문에서 제시한 BART는 Bidirectional 그리고 Auto-Regressive Transformer의 결합입니다. BART는 denosing autoencoder로 sequence - to -sequence 모델로 만들어져 다양한 태스크에 적용될 수 있습니다. 사전학습에는 두가지 과정이 있습니다. (1) 텍스트에 임의의 noise로 손상을 줌 (2) sequence-to-sequence 모델을 학습해 원래 텍스트 데이터를 재구성 Transformer 기반의 뉴럴 기계번역 구조를 사용합니다. 이는 bidirectional encoder를 가진 BERT와 left-to-right decoder를 가진 GPT 그리고 다른 최신의 사전학습 구조를 일반화한..

심화 스터디/논문 리뷰 2022. 9. 15. 20:27

논문 요약 1) 한번만 본다!! 2)지금까지 있던 것들을 합쳤다!! 3)실시간으로 확인 가능하다!! 1. Introduction 기존의 Object Detection System은 Classifier 모델이 Detection 기능을 수행하도록 변형된 형태였다. DPM(Deformable Parts Models) Sliding Window R-CNN 기반 Region Proposal : Bounding Box가 있을 법한 위치를 제안 Classification : 해당 Bounding Box에 대한 Classification 수행 Box Regression : 후처리를 통해 bounding box 개선(refine, elimination,,,,) YOLO는 Object Detection을 single re..

심화 스터디/CV 논문 리뷰 2022. 9. 15. 20:05

You Only Look Once: Unified, Real-Time Object Detection 0. object detection 이란? 어떤 물체가 어디에 존재하는지(localization) 그리고 해당 물체가 어떤 물체인지 분류(classification)하는 두가지의 작업을 의미 Classification : Single object의 종류 (class, label이라고도 함) 가 무엇인지 구분하는 것 (*output : class probability) Localization : Single object의 위치를 Bounding box로 지정하여 찾는 것 (*output : (x,y,w,h) ) Object Detection : Multiple object의 위치를 위치를 Bounding..

심화 스터디/CV 논문 리뷰 2022. 9. 15. 19:10

작성자: 15기 이병주 1. Graph Convolution (그래프 합성곱) 그래프에 convolution filter를 적용하여, 노드 하나와 인접 노드와의 관계를 계산하고 싶음. 그래프에서 convolution이 어려운 이유 convolution은 regular grid에서 정의됨 filter의 크기가 다 다르다. Convolution Theorem the convolution of two functions in real space is the same as the product of their respective Fourier transforms in Fourier space 그래프에서 convolution은 푸리에 point-wise multiplication과 같다! 2. Node Classi..

심화 스터디/Advanced ML & DL paper review 2022. 9. 15. 18:53

작성자: 15기 우명진 논문: World Models 저자: David Ha, Jurgen Schmidhuber 논문 링크: https://s3.us-west-2.amazonaws.com/secure.notion-static.com/fdacfa12-f2d3-4b69-9550-35ecf93503e3/1803.10122.pdf?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Content-Sha256=UNSIGNED-PAYLOAD&X-Amz-Credential=AKIAT73L2G45EIPT3X45%2F20220914%2Fus-west-2%2Fs3%2Faws4_request&X-Amz-Date=20220914T044303Z&X-Amz-Expires=86400&X-Amz-Signature=..

심화 스터디/Advanced ML & DL paper review 2022. 9. 15. 18:20

작성자 : 14기 김태영 논문 링크 : Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles - DeepMind 1. Introduction and Basic 1) 신경망 모델의 한계점 다양한 신경망 모델들이 발전하면서 그 성능은 지속적으로 개선되고 있고 높은 accuracy를 보여주고 있다. 하지만 이런 높은 accuracy 이면에는 크게 다음과 같은 두가지 문제점이 있다. 예측 불확실성, Predictive Uncertainty는 그 측정 자체에 대한 방법론이 잘 연구되지 않았었고 강조되지 않았던 내용이다. 신경망 모델들이 높은 성능을 보인다는 것은 confidence가 강하다라고 표현할 수 ..

심화 스터디/Advanced ML & DL paper review 2022. 9. 15. 18:20