달력

6

« 2020/6 »

  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  •  
  •  
  •  
  •  

[정리] 모두를 위한 딥러닝 10 - ReLU & 초기값 정하기   by 김성훈 


강의 웹사이트 : http://hunkim.github.io/ml/

Lec = 강의 / Lab = 실습


시그모이드 결과값은 0<f(x)<1 이기 때문에 이를 체인룰에 따라 계속 곱하다보면 (레이어가 많으면) 

0.01 * 0.03 * 0.2 와 같은 형태가 되기 때문에 결국 한없이 0 에 가까워지게 됩니다. 

즉, 입력값 X 가 결과값 f(x), Y 에 미치는 영향이 거의 없게 됩니다.  

따라서, 학습을 깊게 여러번 하면 할수록 에러가 커지는 현상이 일어납니다. 이건 오버피팅 Over Fitting 과 다릅니다.


이를 극복하기 위한 함수가 렐루 ReLU 입니다. (위 그림에서 검정색이 시그모이드 sigmoid, 자주색이 렐루 ReLU 함수)

렐루는 0 이하는 0 으로, 그 이상값은 자기 자신의 값을 갖는 함수입니다.


이 두가지 함수를 비교하기 위해 텐서보드 tensorboard 를 이용해보겠습니다.

텐서보드로 분석할 수 있도록 로그를 남긴 다음, 텐서보드를 띄워서 웹브라우저로 확인하면 됩니다.

생각보다 메모리나 CPU 를 많이 사용하는, 좀 무거운 라이브러리입니다.

(텐서보드 이미지 추가)


정확도 비교.

1번 방법 = 시그모이드를 사용하여 레이어 3개 ~ 10개 사용하기.

# weights & bias for nn layers
with tf.name_scope("L1") as scope:
W1 = tf.Variable(tf.random_normal([784, 256]))
b1 = tf.Variable(tf.random_normal([256]))
L1 = tf.sigmoid(tf.matmul(X, W1) + b1)
w1_hist = tf.summary.histogram("weights1", W1)
b1_hist = tf.summary.histogram("biases1", b1)
layer1_hist = tf.summary.histogram("L1", L1)

with tf.name_scope("L2") as scope:
W2 = tf.Variable(tf.random_normal([256, 256]))
b2 = tf.Variable(tf.random_normal([256]))
L2 = tf.sigmoid(tf.matmul(L1, W2) + b2)
w2_hist = tf.summary.histogram("weights2", W2)
b2_hist = tf.summary.histogram("biases2", b2)
layer2_hist = tf.summary.histogram("L2", L2)

이런 형태로 레이어를 3개, 10개 만듭니다.


2번 방법 = 렐루 relu 를 사용하여 레이어 3개 ~ 10개 사용하기.

# weights & bias for nn layers
with tf.name_scope("L1") as scope:
W1 = tf.Variable(tf.random_normal([784, 256]))
b1 = tf.Variable(tf.random_normal([256]))
L1 = tf.nn.relu(tf.matmul(X, W1) + b1)
w1_hist = tf.summary.histogram("weights1", W1)
b1_hist = tf.summary.histogram("biases1", b1)
layer1_hist = tf.summary.histogram("L1", L1)

with tf.name_scope("L2") as scope:
W2 = tf.Variable(tf.random_normal([256, 256]))
b2 = tf.Variable(tf.random_normal([256]))
L2 = tf.nn.relu(tf.matmul(L1, W2) + b2)
w2_hist = tf.summary.histogram("weights2", W2)
b2_hist = tf.summary.histogram("biases2", b2)
layer2_hist = tf.summary.histogram("L2", L2)

이런 형태로 레이어를 3개, 10개 만듭니다.

두 소스에서 sigmoid / relu 이 부분만 다릅니다.


4개의 소스를 비교해보면 

 

 Sigmoid 3 Layer

 ReLU 3 Layer

 Sigmoid 10 Layer

 ReLU 10 Layer

 정확도

 94.21 %

 95.87 %

 94.31 %

 93.00 %


엠니스트 MNIST 는 위 4가지 중에서 렐루 3 레이어로 만들때 가장 좋은 결과가 나왔습니다.

즉, 너무 많은 레이어는 결과가 더 나빠지기도 합니다.


그리고, 초기값 잘 설정하는게 중요합니다.

(정리중)

RBM : Restricted Boatman (Boltzman) Machine

자비어 : xavier

MSRA



Posted by 멋지다마라송

댓글을 달아 주세요

[정리] 모두를 위한 딥러닝 03 - cost 줄이기 by 김성훈 


강의 웹사이트 : http://hunkim.github.io/ml/

Lec = 강의 / Lab = 실습


W=2 일때에도 계산해보자.


이걸 2차원 그래프로 나타내면 아래와 같다.

W=1 이 정답이다. (Y = 1 * X)

이를 3차원 그래프로 나타내면 아래와 같다.


W=1 인 값은 미분했을때 (접선의 기울기) 0 이 되는 곳이다.


이걸 파이썬을 이용해서 구현하면 아래와 같다.


초기값을 5 로 주고, 0.1 씩 곡선을 타고 내려가는데 GradientDescentOptimizer 라는 최적화 함수를 이용하면 된다.

오, 6번만에 정답을 찾았다.


다른 예로, 초기값을 -3 으로 주고, 0.1 씩 곡선을 타고 내려간다.

역시 6번만에 정답을 찾았다.


소스코드 : https://github.com/hunkim/DeepLearningZeroToAll

Posted by 멋지다마라송

댓글을 달아 주세요

2018. 1. 10. 00:00

[정리] 모두를 위한 딥러닝 00~01 Tech/머신러닝2018. 1. 10. 00:00

[정리] 모두를 위한 딥러닝 00~01 by 김성훈 


강의 웹사이트 : http://hunkim.github.io/ml/

Lec = 강의 / Lab = 실습


Lec 00 : 머신러닝, 딥러닝 개요  

유투브 동영상 : https://c11.kr/xuc

인공지능 > 머신러닝 > 딥러닝 

강의 목적 : 머신러닝에 관심이 있는 사람들이라면 누구든 이해하고 개발할 수 있도록 도와주기 위해.

머신러닝 : 특정 입력을 기반으로 원하는 출력을 만드는 것. 

알아서 배울 수 있다면 로직이 정해져있지 않아도 (학습을 할 수 있으면) 원하는 출력을 얻을 수 있다. (오!)


Andrew Ng’s ML class : 앤드류 응 교수님 강의 (추천!)

https://www.coursera.org/learn/machine-learning (코세라 사이트는 프로그래밍 관련해서 좋은 강의가 많다)

- https://class.coursera.org/ml-003/lecture 

- http://www.holehouse.org/mlclass/ (note) 


• Convolutional Neural Networks for Visual Recognition. 

- http://cs231n.github.io/ 


• TensorFlow : 구글에서 만든 머신러닝 라이브러리 오픈소스 

- https://www.tensorflow.org 

- https://github.com/aymericdamien/TensorFlow-Examples



Lec 01 : 기본적인 머신러닝 용어와 개념 설명.

유투브 동영상 : https://c11.kr/xue

Supervised Learning : f레이블이 있는 기반 데이터를 가지고 학습하는 방법. 스팸 필터, 강아지 그림 맞추기 등.

Unsupervised Learning : 레이블이 없는 데이터를 가지고 학습하는 방법. 비슷한 뉴스를 모아라 등.


Types of Supervised Learning 수퍼바이즈드 러닝의 종류

- Regression : 정해진 스코어 (0~100) 중에서 점수를 예측하는 학습.

- Binary Classification : 둘중 하나 (통과/실패처럼) 를 예측하는 학습.

- Multi-Label Classification : A, B, C, D 처럼 등급을 예측하는 학습.


Lab 01 : Tensorflow 텐서플로우 설치, 기본적인 연산

유투브 동영상 : https://c11.kr/xug

왜 텐서플로우인가

https://github.com/thedataincubator/data-science-blogs/blob/master/output/DL_libraries_final_Rankings.csv


설치 : https://c11.kr/xun

기본문법 : https://github.com/sjchoi86/Tensorflow-101/blob/master/notebooks/basic_python.ipynb

기본용어 정리 : https://c11.kr/xup


Posted by 멋지다마라송

댓글을 달아 주세요