[Deep Learning] ANN Foundation ; 신경망 기초 2 - Perceptron(퍼셉트론) 신경망의 가장 작은 단위, 신경망의 구성(Layers)

퍼셉트론(Perceptron)

단순히 하나의 노드(뉴런)으로 이루어진 신경망
;하나의 뉴런이 하는 일은 들어온 입력값들을 단순히 가중치를 곱해 모두 더하는 연산(선형결합)을 하고 활성화함수(activation function)에 넣어 그 결과를 출력.

• 아래 그림에서 '원'으로 표현된 것을 뉴런 or 노드(node)라고 함.
• 입력신호(x0, x1, ...)가 뉴런에 입력되면 각각 고유한 가중치(화살표=weights, w0, w1, ...)가 곱해지고 다음 노드에서는 입력된 모든 신호를 더해줌.
• 이는 시냅스(synapses)의 연결강도(시냅스의 두께, 개수)와 같은 역할을 함
• 각 뉴런에서의 연산값이 정해진 임계값(TLU; Threshold Logic Unit)을 넘을 경우에만 다음 노드들이 있는 층(layer)으로 신호를 전달
• 다수의 input 값을 받아서 하나의 output을 도출함.

 

신경망의 Layers 구성

각층은 n개의 뉴런(노드, Activation Units)로 구성되어있다. 각각 Weight(가중치, 필터와 같은 역할을 하는 입력값의 영향력 비중)와 Bias(편향, 노드가 얼마나 쉽게 활성화 될지 도와주는 역할)을 가지고 있다. 

수식
y = sigmoidΣ(w1x1+w2x2+...........wnxn) + bias

해설
input → input+weight (= weight sum) → weight sum+bias → (by Activation Function → weight sum)은 다음  layer로 이동 (weight sum은 Activation Function을 통해서 다음층에 전달된다.)

신경망의 Layer 구조

1. Input layer(입력층) 
   : 입력층 노드의 수 = feature 의 수
   : 입력층은 어떤 계산도 수행하지 않고 값들을 전달만 함.
   따라서, 신경망의 depth(깊이, 층수)를 셀때 입력층은 포함 하지 아니한다. (위의 그림의 경우 신경망은 2층구조)
2. Hidden layer(은닉층)
   : 은닉층의 수 = 2개이상 (Deep learnig 은 2개이상의 은닉층을 가진 신경망으로, input layer를 제외하고 시작하여 3개이상의 ayer를 갖는 신경망을 의미한다)
   : Input layer 와 Output layer 사이에 있는 계산이 일어나지만 계산 결과를 사용자가 볼 수 없는 층
3. Output layer(출력층)
   :출력층 노드의 수 = target class 의 수
   : 신경망 가장 오른쪽 마지막층, 대부분 Activation function이 함께 존재하는데 이 Activation Function은 풀고자 하는 문제에 따라 다른 종류를 사용한다. 
4. Weight (가중치)
   : 필터와 같은 역할을 하는 입력값의 영향력 비중.
5. Bias(편향)
   : 노드가 얼마나 쉽게 활성화 될지 도와주는 역할

 

Activation Function (활성함수)

2021.08.29 - [딥러닝] - [Deep Learning] 신경망 기초6; Activation Functions

어떤 신호들이 그 다음 노드로 넘어갈 수 있는지 연산처리 해주는 함수, 입력데이터의 가중합을 출력신호로 변환

1. Regression (회귀문제)
   : 예측할 목표 변수가 실수일경우 <- Activation function 필요없음
   : 출력노드 = 출력 변수 개수
2. Classification (분류문제)
   
   1. Binary clasification (이진분류)
      1.  Sigmoid function 사용하여 출력을 확률 값으로 변환하여 Label 결정
         

         

      2. Step Function (계단함수)사용
         : 0보다 큰 경우 1을 출력, 0보다 작을때 0을 출력
         

         

      3. ReLU (Rectified Linear Unit) 함수 
         : 실제로 가장 많이 사용
         

         

   2. Multi-class classification (다중클래스분류)문제
      1. Softmax 함수 : 출력층 노드가 부류 수 만큼 존재

 

ref.

https://www.asimovinstitute.org/neural-network-zoo/

The Neural Network Zoo - The Asimov Institute

https://www.youtube.com/watch?v=aircAruvnKk&feature=youtu.be