sgd 썸네일형 리스트형 [Deep Learning] 신경망 기초 4; 확률적 경사하강법(SGD; Stochastic Gradient Descent) & Optimizer 무작위로 뽑은 하나의 관측값 마다 기울기를 계산하고 바로 가중치를 업데이트 한다. 기존에 사용한 경사하강법은 배치(batch)방법인데, 모든 관측치를 가지고 기울기를 다 계산한 다음에 가중치를 업데이트했었다. 그와 다르게 SGD는 관측치 마다 가중치를 업데이트 하기 때문에 학습이 빠르게 진행되는 장점이 있다. 데이터 샘플이 많아질 수록 SGD가 빠르게 학습이 된다. 단점: 학습 과정 중 손실함수 값이 변동이 심하다. 완화 하는 방법으로 배치방법과 SGD를 합친 Mini-batch 경사하강법을 사용할 수 있다. 경사하강법의 변형들 경사하강법 알고리즘들은 다음과 같습니다. 1) Stochastic Gradient Descent(SGD) 2) SGD의 변형된 알고리즘들(Momentum, RMSProp, Ada.. 더보기 이전 1 다음
