모두야

신경망 학습 : 데이터로부터 매개변수 값을 정하는 방법 학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 0. 신경망 학습 이란 데이터의 가중치를 정하는 것이다. 가중치 라는 매개변수가 있다. 각 값에 알맞는 가중치의 값을 찾자. 어떻게 찾지? 손실 함수의 최소값이 가중치의 최적값 일것이다. 손실 함수 최솟값은 어떻게 구해? 경사하강법을 이용해서! 순전파 forward( ) 역전파 backward( ) 곱셈 노드 MulLayer 덧셈 도드 AddLayer 지금까지는 단순한 계층이다. 다음장부터는 신경망을 구성하는 '계층' 각각을 하나의 클래스로 구현한다. 계층이란, 신경망의 기능 단위이다. ex) 시그모이드 함수를 위한 Sigmoid 기능 계층 행렬 내적을 위한 Aiffne 기능..

4.3 수치 미분 : 경사법에서는 기울기(경사) 값을 기준으로 나아갈 방향을 정한다. 미분이란? x의 작은 변화(+h)가 함수 f(x)를 얼마나 변화시키냐를 의미한다. h ( 시간의 작은 변화 ) : 얼마나 작은 변화냐면, 시간은 0에 최대한 가깝게 lim 한다. 위의 식은 x+h와 x의 기울기에 불과하다. 따라서 진정한 접선과는 다르다. 오차가 발생할 것이다. => "" 차분 "" 중심 차분 (중앙 차분) 전방 차분 기울기가 가리키는 쪽 : 각 장소에서 함수의 출력 값을 가장 크게 줄이는 방향이다. 경사 하강법 기계 학습 : 학습 단계에서 최적의 매개변수를 찾아낸다. 신경망 : 학습 단계에서 최적의 매개변수 (가중치와 편향) 을 알아내야 한다. "최적" - 손실 함수가 최솟값이 될 때의 매개변수 값 -..

신경망 학습 : 데이터로부터 매개변수 값을 정하는 방법 학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 손실함수 : 신경망이 학습할 수 있도록 해주는 지표 : 손실함수의 최소값이 가중치의 매개변수 => 최소값 찾는 법 : 경사법(함수의 기울기 활용) 4.1 데이터에서 학습한다! 신경망의 특징 : 데이터를 보고 학습할 수 있다. == 데이터를 보고 가중치 매개변수 값을 자동으로 결정한다. 데이터 주도 학습 기계학습 => 데이터에서 답을 찾고, 패턴을 발견하며, 이야기를 만든다. => 모아진 데이터로부터 규칙을 찾는 역할을 '기계'가 한다. 사람의 개입을 최소화 하여 수집한 데이터의 패턴을 찾는다. 이미지의 특징(feature)를 추출하고, 그 특징의 패턴을 기계학습으로 학습 시킨..

CH3) 신경망 - (1) CH3) 신경망 - (1) CH2) 퍼셉트론 이전 글에서 퍼셉트론에 대하여 정리하였다. 좋은 점은 이론상 컴퓨터가 수행하는 복잡한 처리도 퍼셉트론으로 표현이 가능했다. 나쁜 점은 가중치를 설정하는 부분에서는 여전히 meme2.tistory.com 3.4 3층 신경망 구현하기 w12 (1) : (1)층 가중치, 2층 1번째 뉴런, 1층 2번째 뉴런 - 구현은 각 층 모두 동일하다. - 마지막 출력층 단계에서 활성화함수는 다르다. (3.5참고) def init_network(): network = {} # network의 딕셔너리 형태로 저장 network['W1'] = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]]) # 가중치1 (입력->1층) networ..

CH2) 퍼셉트론 이전 글에서 퍼셉트론에 대하여 정리하였다. 좋은 점은 이론상 컴퓨터가 수행하는 복잡한 처리도 퍼셉트론으로 표현이 가능했다. 나쁜 점은 가중치를 설정하는 부분에서는 여전히 사람이 수동으로 작업해야 한다는 것이였다. 3.1 퍼셉트론에서 신경망으로 왼쪽 그림 : 신경망 구조 = 입력층 - 은닉층 - 출력층 오른쪽 그림 : 퍼셉트론 복습 - 편향을 명시한 퍼셉트론의 모습이다. 활성화 함수 퍼셉트론 -----> 신경망으로 바뀌는 과정 가중치가 달린 입력 신호와 편향의 총합을 계산한 a = b + w1*x1 + w2*x2 이며 y = h(a) 라고 하면 y가 0보다 크면 1 출력, 0보다 작으면 0을 출력한다. 각 원의 명칭은 [뉴런]=[노드] 이다. 3.2 활성화 함수 활성화 함수는 임계값을 경..

2.1 퍼셉트론이란? 퍼셉트론 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 신호가 흐른다 (0) , 신호가 흐르지 않는다 (1) x1, x2 입력 신호 y 출력 신호 w1,w2 가중치 원 노드 (뉴런) 입력 신호가 뉴런에 보내질 때, 각각 고유한 가중치가 곱해진다. 뉴런에서 보낸 신호의 총 합이 정해진 한계(임계값)을 넘으면 1을 출력한다. (= 뉴련이 활성화한다.) 가중치는 각 신호가 결과에 주는 영향력이다. 가중치가 클수록 해당 신호가 더 중요하다는 뜻이다. 2.2 단순한 논리 회로 AND 게이트 - AND게이트는 입력이 둘이고 출력은 하나이다. - 두 입력이 모두 1일때만 1을 출력하고, 그 외에는 0을 출력한다. (w1,w2,θ) = (0.5, 0.5, 07), (w1,w2,θ) = (0..

1.1 파이썬이란? 간단하고 배우기 쉬운 프로그래밍 언어이다. 불편한 컴파일 과정이 없다. 영어와 유사한 문법으로, 읽기 쉽고 성능이 뛰어나다. 과학 분야, 기계학습, 데이터 과학 분야에 널리 쓰인다. 넘파이, 사이파이(SciPy)와 같은 통계 처리 라이브러리와 함께 이용한다. 1.2 파이썬 설치하기 아나콘다(Anaconda) 배포판 이용하기 배보판 : 사용자가 설치를 한 번에 수행할 수 있도록 필요한 라이브러리를 포함해 둔 것 외부 라이브러리 - 파이썬3 - 넘파이 : 수치 계산용 라이브러리, 고도의 수학 알고리즘과 배열(행렬) 조작에 편리하다. - matplotlib : 그래프를 그려주는 라이브러리 : 실험 결과를 시각화 하거나 딥러닝 실행 과정의 중간 데이터를 시각적으로 표현한다. 1.3 파이썬 인..