Self-supervised learning (자기지도학습)

# 지도학습

: 정답이 있는 데이터가 많아야함

 

# 자기지도학습

: 데이터 안에서 self로 만들어서 직접 학습함

 

1.Pre-trained Model 생성

레이블 정보를 사용하지 않고, 데이터 특징을 학습(좋은 fearture를 찾기)

- context prediction[1]

- contrastive learning[2]

 

2.Downstream task 수행 (Fine Tuning)

downstream task를 풀기 위해 소량의 라벨 데이터로 transfer learning 함

 

---

어떻게 스스로 label을 만들었을까?

Pretext Task Methods

Exemplar-CNN (2015, TPAMI) [3]

- 특정 이미지 내 다수의 패치(patch)를 생성 → augmentation

- 입력: 각 패치, 출력: 패치가 나온 데이터를 범주형 class로 데이터쌍 생성 

 

Context Prediction (2015, ICCV) [1]

- 입력 이미지 가운데를 정사각형 패치, 해당 패치를 중심으로 8가지 방향으로 추가패치 생성

- 입력: 가운데 이미지&해당 패치, 출력: 패치의 번호

- 모델: AlexNet

▷ 패치 간 경계면 정보만 학습 됨 (Trivial solution)

해결방법

1) 패치 간 공간을 두고 추출 진행

2) 추출한 패치 내 색상 변경으로 패치 간 연결 정보 제거

 

JigSaw Puzzles (2016, ECCV)

- 입력 이미지 가운데를 정사각형 패치, 해당

---

[1] Doersch, Carl, Abhinav Gupta, and Alexei A. Efros. "Unsupervised visual representation learning by context prediction." Proceedings of the IEEE international conference on computer vision. 2015.

[2] Chen, Ting, et al. "A simple framework for contrastive learning of visual representations." International conference on machine learning. PMLR, 2020.

[3] Alexey, Dosovitskiy, et al. "Discriminative unsupervised feature learning with exemplar convolutional neural networks." IEEE TPAMI 38.9 (2016): 1734-1747.