CH7) 합성곱 신경망 CNN -(3)

대표적인 CNN

LeNet (1998)

손글씨 숫자 인식 네트워크

현재 CNN과 비교하면 몇가지 차이가 있다.

차이 1. 활성화 함수

LeNet은 시그모이드 함수를 이용한다.

현재는 주로 ReLu를 사용한다.

 

차이2. 풀링

LeNet은 서브샘플링(원소를 줄이기만함)을 하여 중간 데이터 크기가 작아진다.

현재는 최대풀링을 이용한다.

 

AlexNet (2012)

딥러닝의 열풍을 일으키는 큰 역할을 하였다.

AlexNet은 합성곱 계층과 풀링 계층을 반복하여 마지막은 완전연결 계층을 거져 결과를 출력한다. 

 

• 활성화 함수로 ReLu를 이용한다.
• LRN (Local Response Normalization)이라는 국소적 정규화를 실시하는 계층을 이용한다.
• 드롭아웃을 사용한다.