[논문 리뷰 스터디] Graph Attention Networks [GAT, ICLR 2018] + Vision GNN: An Image is Worth Graph of Nodes [NeurIPS 2022]

작성자: 15기 이승은

 

1. Trends

 

RNN으로 Graph 구조의 데이터를 다루기 → 그 이후

• (Spectral Representation) Graph에 eigen-decomposition 후 합성곱 연산 적용 등: 쉽게 말하면 그래프를 축소해서 다루기 쉬운 format으로 만든 후 연산 → but 연산 적용 후 새로운 구조의 Graph나 새로운 Node에 적용하기 어렵다는 단점이 있다.
• (Non-Spectral or Spatial Representation) 합성곱을 Graph에 직접적으로 적용 (GraphSAGE 등)
• 이외에도 Attention 적용 → Inductive Learning에 적용 가능, 일반화 장점

 

2. Methods

 

3. Advantages

• Graph의 모든 Edge에 공유되어 Attention Mechanism을 적용 → 전체 Graph를 접근하지 않고도 학습할 수 있음 → model capacity 관리에 효과적, inductive learning
• cf. GraphSAGE (각 Node에 대해 이웃의 수를 고정시키고 계산량을 일정하게 유지하도록 함, 추론을 진행할 때 전체 이웃 노드들에 대해서 할 수 없다는 단점이 있음)

 

4. Training details

• aggregation function으로 LSTM Aggregator가 가장 좋았음 (cf. Max Pooling Aggregator, Mean Pooling Aggregator)

 

 

• code implementation w/ Colab

 

 

(+) Vision GNN: An Image is Worth Graph of Nodes [NeurIPS 2022]

 

 

(기존 연구 한계)

The widely-used convolutional neural network and transformer treat the image as a grid or sequence structure,

which is not flexible to capture irregular and complex objects.

 

(방법론)

We first split the image to a number of patches which are viewed as nodes,

and construct a graph by connecting the nearest neighbors.

Based on the graph representation of images, we build our ViG model to transform and exchange information among all the nodes.

 

(구조)

ViG consists of two basic modules:

1. Grapher module with graph convolution for aggregating and updating graph information, and
2. FFN module with two linear layers for node feature transformation.

 

 

ref.

https://colab.research.google.com/github/keras-team/keras-io/blob/master/examples/graph/ipynb/gat_node_classification.ipynb,

https://greeksharifa.github.io/machine_learning/2021/05/29/GAT/,

https://arxiv.org/abs/1710.10903