Batch, Epoch

Regu, Epoch, Batch ( 9/21 )

Regularizationd은 L2,L1이랑 Drop out 등

 

• Batch size

: 전체 데이터 셋을 쪼갠 단위. (보통 mini-batch라고 표현)

--> Batch size의 적당한 크기?

• iteration : epoch를 나누어서 실행하는 횟수

 

• Epoch

: 에폭은 머신러닝에서 쓰이는 하나의 단위로, 1에폭은 학습에서 전체 데이터셋에 대해 학습을 한번 완료하였을 때를 말한다. 예를 들어 mnist데이터에서 훈련용 데이터 10000개를 100개의 미니배치로 학습할 경우, 경사하강법을 100회 반복하면 모든 훈련데이터를 '소진'한게 된다. 이 경우 100회가 1에폭이 된다. 

(한 번의 epoch는 인공 신경망에서 전체 데이터 셋에 대해 forward pass/backward pass 과정을 거친 것을 말함. 즉, 전체 데이터 셋에 대해 한 번 학습을 완료한 상태)

- 50에폭일 경우 전체 훈련 데이터를 사용하여 50번 학습을 시킨 것 

- 적절한 에폭값을 설정해야 underfitting과 overfitting을 방지할 수 있다. (에폭을 과도하게 설정하여 오버피팅이 되면 지나치게 훈련용 데이터에만 적응이 되어 훈련용 데이터셋에서는 정확도가 매우 높게 나오지만, 테스트셋에서 정확도가 오히려 떨어진다.)

--> overfitting을 방지하기 위한 방법으로 Regularization등이있다.

 

• Regularization

 

• Norm  :  행렬에서 배우는 백터의 크기 혹은 길이

벡터의 크기인 노름

 

• L1 Norm : 맨하튼 거리

 그냥 벡터 p, q 의 각 원소들의 차이에다가 절대값 입혀서 다 더한것

• L2 Norm

: 유클리디안 거리

일반적으로 행렬에서 벡터의 크기를 구하는 공식. (피타고라스 정리로 직선거리글 구한것)

 

여기서 초록색만 L2의 유클리디안 직선거리이고, 나머지 빨강 파랑 노랑은 L1 맨하튼 거리이다. 

• L1 Regularizaiton (Lasso)

L1 Regularizaiton 은 Lasso 라고도 불리며, 기존 Cost function 뒤에 L1 항을 추가해준 것이다.
공식은 다음과 같다.

출처: https://dailyheumsi.tistory.com/57 [하나씩 점을 찍어 나가며]

 

참고한 블로그

https://light-tree.tistory.com/125

딥러닝 용어 정리, L1 Regularization, L2 Regularization 의 이해, 용도와 차이 설명