모두야

# 지도학습: 정답이 있는 데이터가 많아야함 # 자기지도학습: 데이터 안에서 self로 만들어서 직접 학습함 1.Pre-trained Model 생성레이블 정보를 사용하지 않고, 데이터 특징을 학습(좋은 fearture를 찾기)- context prediction[1]- contrastive learning[2] 2.Downstream task 수행 (Fine Tuning)downstream task를 풀기 위해 소량의 라벨 데이터로 transfer learning 함 어떻게 스스로 label을 만들었을까?Pretext Task MethodsExemplar-CNN (2015, TPAMI) [3]- 특정 이미지 내 다수의 패치(patch)를 생성 → augmentation- 입력: 각 패치, 출력: 패치가..

파이썬 머신러닝 완벽 가이드를 읽고 공부한 내용을 정리한 포스팅입니다. (p294) : 비용 최소화하기 - 경사하강법 경사 하강법(Gradient Descent) - 어떻게 하면 오류가 작아지는 방향으로 W 값을 보정할 수 있을까? 비용 함수가 다음과 같은 포물선 형태의 2차 함수일때, 경사 하강법은 미분을 적용한 다음, 이 미분 값이 계속 감소하는 방향으로 w를 업데이트 합니다. 계속 업데이트 하다가, 더 이상 미분된 1차 함수의 기울기가 감소하지 않는 지점을 비용 함수가 최소인 지점으로 간주하고 그 때의 w를 반환합니다. 위에서 언급된 1차 함수에 대한 식에 대한 코드입니다. y_pred = (x_train * beta_gd) +bias # y=xa+b # y_pred= x*w1 + w0 손실 함수(..

전이학습 이란 ? Transfer learning (TL) is a research problem in machine learning (ML) that focuses on storing knowledge gained while solving one problem and applying it to a different but related problem. [wikipedia] 머신러닝(기계학습) 에서 사용되는 방법으로, 이전에 훈련된 지식을 기반으로 비슷한 문제를 해결할 때 적용시킬 수 있다. - 학습 데이터가 부족할 때, 데이터가 풍부한 상태로 사전학습 된 모델을 이용하여 새로운 데이터 학습에 적용시킨다. 강아지, 고양이 이미지를 분류하는 CNN 모델 을 만들려고 한다. 이때, 좋은 성능의 CNN 분류기..