11. Dropout

오버피팅의 문제점

오버피팅은 트레이닝 데이터에 그래프가 너무 정확히 맞아 들어갈때 발생한다.

학습된 데이터를 가지고 판단하면 100%에 가까운 정확도를 보이지만 새로운 데이터를 넣게 되면, 정확도가 급격하게 떨어지는 문제가 있다.

드롭아웃

드롭아웃은 미니배치를 실행할 때마다 뉴런을 랜덤하게 잘라내서 새로운 모델을 생성하는 정규화 방법이다.

계산 시간이 거의 들지 않고 다양한 모델에 쉽게 적용 가능하다.

드롭 아웃은 하나의 신경망 모델에서 무한히 많은 모델을 생성하는 배깅과 같다.

미니배치 : 거대한 양의 데이터를 한 번에 학습하지 않고 단위 별로 쪼개서 학습하는 방법

배깅 : 독립된 여러 모델을 동시에 실행한 뒤 개별 모델의 예측을 이용해서 최종으로 예측하는 방법

드롭아웃은 배깅보다 성능이 좋을까?

배깅은 서로 독립된 모델을 병렬로 실행해서 예측 오차를 줄이지만, 드롭아웃은 모델 간의 파라미터를 공유하기 때문에 모델 간에 상관성이 생긴다. 따라서 모델 간의 독립성을 전제로 하는 배깅보다 더 좋은 성능을 가지기 힘들다.

하지만 드롭아웃은 배깅보다 실용적이다. 모델을 병렬로 실행하지 않고도 무한히 많은 모델의 평균으로 예측하는 효과가 있기 때문에 적은 자원으로 배깅의 정규화 효과를 볼 수 있다.

학습 단계

뉴런을 드롭아웃할 때는 뉴런의 50% 이상은 유지되어야 한다. 드롭아웃은 입력 계층과 은닉 계층에 적용하여, 뉴런을 유지할 확률은 입력 뉴런은 0.8, 은닉 뉴런은 0.5 정도로 지정한다.

드롭아웃을 어떻게 적용하는가?

먼저 미니배치를 실행할 때마다 계층별로 뉴런의 이진 마스크를 생성한다. 이진 마스크는 뉴런별 드롭아웃 여부를 나타낸다. 뉴런의 마스크 값이 1이면 뉴런은 유지되고 0이면 드롭아웃 된다.

이진 마스크의 1과 0의 비율은 뉴런이 유지될 확률에 따라 정하고 계층의 출력에 이진 마스크를 곱하면 드롭아웃이 실행된다.

드롭아웃을 하면 어떤 모델이 생성될까?

입력 뉴런 2개, 은닉 뉴런 2개인 신경망에 드롭아웃을 적용한다면 뉴런의 50%는 유지하고 나머지 50%는 드롭아웃 한다면 $2^4$개에 해당하는 16종류의 모델이 생성된다.

추론 단계

뉴런을 드롭아웃하지 않고 훈련 과정에서 확률적으로 생성했던 다양한 모델의 평균을 예측해야 한다.

모델 평균의 결과는 드롭아웃을 하지 않은 전체 모델의 출력 $w_1x+w_2y$와 뉴런 유지 확률 $p$의 곱으로 표현한다.

모델의 가중치를 $p$로 스케일링해서 모델 평균을 계산하는 가중치 비례 추론 규칙을 따른다.

추론 시에는 각 계층 $l$ 의 출력에 뉴런 유지 확률 $p$를 곱해주면 된다.

$$a^(l^)=activation(W^(l^) x^(l^)+b^(l^ ))*p$$