KUBIG 2022-2 활동 블로그

작성자 : 채윤병 1. Introduction 기존의 GNN은 이웃한 노드사이의 반복적인 message passing을 통해서 node의 representation을 update하고 graph representation을 만드는 pooling 방식을 사용했다. Neighborhood aggregation 방식은 GNN을 더 발전하게 했고 MPNN(Message passing neural network)으로 형식화하였다. MPNN 특징 L번째 representation을 나타내기 표현하기 위해 (L-1)번째 representation을 사용함. Aggregate, Combine, Readout은 각각 parameterized neural network DAG(Directed Acyclic Graph)에서는..

심화 스터디/Graph Study 2022. 11. 23. 15:11

작성자 : 채윤병 1. Introduction 하나의 그래프에서 노드에 label이 일부분만 주어질 때 노드를 분류하는 문제를 Graph-based semi-supervised learning이라고 한다. 이 경우 label에 대한 정보가 smoothing 될 수 있다. L0 - supervised loss Lreg - regularization term △ = D - A → Unnormalized graph Laplacian of undirected graph Eq.1의 가정 : 그래프에서 연결된 노드는 같은 label을 가질 가능성이 높다. (그러나 이러한 가정은 model의 capacity를 제한할 수 있는데, graph의 edge는 node의 similarity 뿐만 아니라 부가적인 정보를 담을 ..

심화 스터디/Graph Study 2022. 11. 10. 00:03

작성자 : 채윤병 1. Introduction 논문의 목적 : 분자 그래프로부터 화학적 성질 예측을 위한 분자의 특성을 학습할 수 있고 그래프 동형(graph isomorphism)문제에 대해 invariant한 효과적인 머신러닝 모델을 제안하는 것 그래프 동형(graph isomorphism) - 노드의 순서의 차이로 인해 다르게 표현되지만 완전히 같은 구조를 가지고 있는 그래프 → MPNN(Message Passing Neural Networks) QM9 dataset - 화학 분자 benchmark dataset, 13만개의 분자의 DFT 연산으로 근사한 13가지 특성이 존재 DFT(Density functional theory)? - 기본 재료 특성과 같은 고차 매개변수를 요구하지 않고 양자 역학..

심화 스터디/Graph Study 2022. 11. 2. 11:24

작성자 : 채윤병 참고 : MIT spring 2021 6.874 Computational system biology lecture 15 일반적인 ML, deep learning의 경우 데이터의 형태가 이미지, 텍스트, 수치와 같은 형태 생물 데이터(gene-gene, cell-cell, protein-protein)의 경우 데이터간의 연관성이 매우 복잡하게 얽혀있기 때문에 일반적인 데이터 형태로 표현하기가 어려움 >> Graph network 형태로 데이터를 표현 데이터의 형태에서 Node는 drug discovery의 경우 약물이 될 수도 있고 gene, protein등이 될 수 있다. Edge의 경우 Node들 간의 연관성을 담고 있다. (그렇지만 Drug discovery와 같은 분야에서 일반적인..

심화 스터디/Graph Study 2022. 10. 9. 21:49

1. Introduction 최근 Link prediction, Graph classification, Node classification 과 같은 중요한 그래프 문제에 대해서 딥러닝으로 접근하여 큰 발전을 이루고 있다. Node embedding 방법의 경우, random walk나 matrix factorization을 통해서 바로 개별 노드의 embedding을 학습한다. 이 방법은 Node 자체의 feature를 사용하지 않고(단점이 될 수 있다) 주로 비지도학습적인 방법(가까운 노드의 similarity가 높아지도록 or adjacency matrix와 비슷한 A행렬을 만들도록)을 사용한다. 그래프 구조와 Node feature를 이용하는 방법도 존재한다. Spectral graph convol..

심화 스터디/Graph Study 2022. 9. 22. 06:07

4. Variants considering graph type and scale 4.2 Heterogeneous graphs Node와 edge가 다른 타입인 경우 4.2.1 Meta-path-based methods Meta-path가 path에 있는 각 노드의 type을 결정, 학습 과정에서 meta path는 node의 sequence로 이용. 직접적으로 연결되어있지 않더라도 두 노드간의 유사도를 구할 수 있음. ∴ One heterogeneous graph → Several homogeneous graph HAN - Hierarchical Attention Network : Meta-path-based neighbors를 이용하여 graph attention을 적용하고 최종 representati..

심화 스터디/Graph Study 2022. 9. 13. 14:25

Graph 기반 deep learning 모델의 리뷰 논문. 연산 방식, 그래프 종류, 학습 방식에 따라 나누어 설명 볼 만한 논문은 [ ] 안에 기록 1. Introduction 그래프는 객체(object)간의 관계(edge)를 표현하는 자료 중 하나이며 최근에는 머신 러닝으로 그래프의 표현력을 높이기 위한 연구들이 많이 진행됨. 그래프 분석의 주요한 목적은 node-classification, link prediction, clustering 그래프 domain을 spectral domain이라고 부른다. Spectral domain에서 그래프를 학습시키는 geometric deep learning에 대한 연구가 시작됨. [Geometric deep learning, Bronstein et al.(2..

심화 스터디/Graph Study 2022. 9. 13. 14:24