안정성과 일반화 성능을 극대화하기 위한 매우 중요한 세 가지 기법인 (Stratified) K-Fold 교차 검증, 조기 종료(Early Stopping), 그리고 **학습률 스케줄러(Learning Rate Scheduler)**를 도입
핵심 개념 설명: K-Fold, 조기 종료, 학습률 스케줄러
1. (계층적) K-Fold 교차 검증 (Stratified K-Fold Cross Validation)
- 문제점: 이전 코드에서는
train_test_split을 사용해 데이터를 단 한 번만 학습용(80%)과 검증용(20%)으로 나누었습니다. 이렇게 한 번만 나누면, 우연히 검증용 데이터가 너무 쉽거나 어렵게 구성될 수 있어 모델의 성능을 편향되게 평가할 위험이 있습니다.
- K-Fold의 해결책: 학습 데이터를 K개의 덩어리(Fold)로 나눈 뒤, K번의 학습을 진행합니다. 매번 돌아가면서 하나의 덩어리는 검증용으로 사용하고 나머지(K-1개)는 학습용으로 사용합니다.
- 예를 들어, 5-Fold의 경우 데이터를 5개로 나누고, 총 5개의 모델을 학습시킵니다.
- 모델 1: Fold 1(검증), Fold 2,3,4,5(학습)
- 모델 2: Fold 2(검증), Fold 1,3,4,5(학습)
- ...
- 모델 5: Fold 5(검증), Fold 1,2,3,4(학습)
- Stratified (계층적)의 의미: 데이터를 나눌 때, 원래 데이터의 타겟 변수(0과 1) 비율이 각 Fold에서도 동일하게 유지되도록 나누는 방식입니다. 클래스 불균형이 심한 데이터에서 각 Fold가 원본 데이터의 분포를 잘 대표하도록 만들어주어 훨씬 안정적인 검증이 가능합니다.
- 최종 효과:
- 신뢰도 높은 검증: 모든 데이터를 한 번씩은 검증용으로 사용하므로, 모델의 일반화 성능을 훨씬 더 안정적이고 신뢰도 높게 평가할 수 있습니다.
- 앙상블(Ensemble) 효과: K개의 다른 데이터셋으로 학습된 K개의 모델이 만들어집니다. 이 K개 모델의 예측을 평균내면, 단일 모델보다 성능이 더 좋고 안정적인 결과를 얻는 앙상블 효과를 누릴 수 있습니다.
2. 조기 종료 (Early Stopping)
- 문제점:
EPOCHS를 너무 작게 설정하면 모델이 충분히 학습하지 못하고(과소적합), 너무 크게 설정하면 학습 데이터를 외워버려 검증 성능이 오히려 떨어지는 현상(과적합)이 발생합니다. 최적의 에포크 횟수를 미리 알기는 매우 어렵습니다.
- 조기 종료의 해결책:
EPOCHS는 일단 넉넉하게 설정해두고, 학습 과정에서 검증 손실(Validation Loss)을 계속 모니터링합니다.
- 만약 검증 손실이 더 이상 감소하지 않고, 오히려 일정 횟수(Patience) 이상 계속 증가하기 시작하면, 이는 과적합이 시작되었다는 신호로 간주합니다.
- 이 신호가 감지되면, 성능이 가장 좋았던 시점의 모델을 최종 모델로 선택하고 학습을 강제로 중단시키는 기법입니다.
- 효과: 최적의 에포크 횟수를 자동으로 찾아주어 과적합을 방지하고, 불필요한 학습을 막아 시간을 절약합니다.
3. 학습률 스케줄러 (Learning Rate Scheduler)
- 문제점: 학습 초반에는 최적점과 거리가 멀기 때문에 큰 보폭(높은 학습률)으로 빠르게 이동하는 것이 좋지만, 최적점 근처에 다다랐을 때는 보폭을 줄여 미세하게 탐색해야 최적점을 지나치지 않습니다. 고정된 학습률로는 이러한 동적 조절이 불가능합니다.
- 스케줄러의 해결책: 특정 조건에 따라 학습 과정 중에 학습률을 동적으로 조절합니다.
ReduceLROnPlateau: 이 코드에 사용된 스케줄러로, "고원(Plateau)에 도달하면 학습률을 줄인다" 는 의미입니다.
- 작동 방식: 조기 종료와 유사하게 검증 손실을 모니터링하다가, 손실이 일정 횟수(patience) 동안 개선되지 않으면 학습이 정체되었다고 판단하고, 현재 학습률에
factor(예: 0.5)를 곱하여 학습률을 낮춥니다.
- 효과: 학습의 안정성을 높이고, 모델이 더 정교하게 최적점에 수렴하도록 돕습니다.