[AI 스터디] Section 4 :데이터셋 분할 및 모델 성능 평가 지표

과적합(overfitting)

: 훈련 데이터 셋에서는 좋은 성능을 내지만 테스트 데이터 셋에서는 좋은 성능을 내지 못하는 경우

   = 모델이 데이터에 비해 너무 복잡해서 실제와 무관한 noise까지 학습하게 된 경우

   = Training data에 비해 Test data의 에러울이 높게 나타나는 경우

       ⇒ 트레인 셋에 과적합 되었다

       ⇒ High Variance Model (고차원 모델)

과소적합 (underfitting)

: 모델이 너무 단순해서 데이터에 내재되어있는 패턴을 모델이 충분하 학습할 수 없어 모델이 데이터 수용을 할 수 없게 되는 경우

   = 모델이 너무 단순해 데이터의 중요 부분을 놓치는 것

       ⇒ High bias Model

 

모델의 복잡도와 성능

: 실질적으로 한정된 데이터 내에서 오버피팅되지 않게 하면서 bias와 variance를 낮추고자 하는 방법을 찾아야함

 

 => 이유 : Bias-Vaiance Trade-off (Bias-Vaiance dilemma)

• 모델이 복잡해질 수록 훈련데이터 에러는 계속 감소
• 어느정도 지나면 테스트 에러는 증가함 : 과적합

머신러닝의 error source

1. Variance

 : 학습 데이터와 실제 데이터 분포 차이에 의한 에러

   = 데이터의 분포와 달리 학습데이터를 일부 분포에서만 샘플링한 경우

 

2. Bias

  : Approximation model과 true function의 차이에 의한 에러

    = 근사치로 만들어낸 함수와 실제 찾고자 하는 함수(우리가 구하고 싶은거지 아무도 이건 모름)간의 차이

• 모델이 예측한 값과 많이 벗어난 실제 데이터가 진짜 이상치인가, 모델의 이상은 아닌지 판단 필요
• 모델이 단순할 수록 갑자기 에러가 많이 차이 나는게 아니라 조금씩 다 차이나게 됨                                                                     ⇒ 이상치 정도의 많이 차이나는게 좋은지 정확하게 예측은 안되는게 좋은지는 상황에 따라 다름

3. noise에 의한 에러 ⇒ 제거 불가 (제거할 수 없기 떄문에 안고 가야함)

 

variance 줄이는 방법

: 데이터 셋의 크기 늘리기 ⇒ 전체적으로 늘리기 (분포를) / 다다익선임. / infinite data sampling

bias 줄이는 방법

: 모델의 복잡도 올리기 / true function을 알고있기(실현 불가)  → 복잡도 올리는 방법 : 모델 생성시, 조정하기

---

간접적으로 좋은 모델 확인 하는 방법

1. 필요한 이유 : 현실에서는 infinite data sampling과 true function을 알 수 있을 수 없기 때문

2. 종류 : cross validation / precision, recall, f1-score

training, testing, cross-validation set

⇒ 세개로 나누는게 가장 ideal함

 

1. training set (파라미터 학습용)

: 모델을 훈련시키는데 사용하는 데이터 ⇒ 실제 데이터의 분포가 트레이닝 셋과 상이할 경우 문제가 있음

2. testinig set (하이퍼파라미터 튜닝용)

: 미래의 일어날 데이터인것 처럼 간주

두 데이터 셋의 데이터는 섞이면 안되고 동일한 분포를 유지해야함
⇒ 동일한 분포가 아니라면 다른 데이터 셋임

 

3. cross validation (교차검증) (퍼포먼스 매트릭스 계산용)

(1) 사용하는 경우 : 데이터가 불충분할 때

(2) 방법 : 훈련 셋을 여러개의 sub set으로 나누고 각 모델을 이 서브셋의 조합으로 훈련시키고 나머지 부분으로 검증

(3) ex - 5개의 서브셋으로 나눈다

     ⇒ 4개 : 훈련용, 1개 : 검증용

      ⇒ 루프를 돌릴 떄 마다 각각 다른 서브셋이 검증용으로 들어가게 함 ⇒ 섞이지 않고 동일한 분포임

      ⇒ 총 결과를 평균 냄

---

편향된 데이터의 모델 퍼포먼스

혼동행렬

: 일반적으로 모델 퍼포먼스를 표현하기 위해 그리는 것

 

1. 전재 상황 : 정상과 비정상을 구분할 수 있음 (레이블링 할 수 있음)

2. 분류

 =>제대로 분류한것 : TP, TN / 오분류한것 : FP, FN

예측값 실제 정답	O	X
O	TP (true positive)	FP (false positive)	Precision
X	FN (false negative)	TN (true negative)
	Recall

 

3. 정확도 (classification rate) (accuracy)

: 단순 정확성 → 전체 데이터 중 제대로 분류된 데이터의 비율

• 공식 : $\frac{(TP + TN)}{(TP+TN+FP+FN)}$
• 문제점 : 99%가 positive, 1%가 negative 인 데이터 분포에서, 전체를 positive로 예측할 경우                                                                negative는 하나도 맞추지 못했지만 정확도가 99%로 높게 나온다

 

4. 정밀도 (precision)

: 모델이 이 샘플을 true로 분류했을 때, 얼마나 자주 맞추었는가? (= positive로 분류했을 때의 정확성 측정)

• 공식 : $\frac{TP}{(TP+FP)}$
• 특징 : 1에 가까울 수록 좋음
• 사용하는 경우 : 분류한 케이스가 정확히 검출되고 싶은 경우 (= confidence 수준 올리고 싶은 경우)
• Example : 포르노 영상 검출기 - 포르노로 분류했을 떄 실제 포르노인 비율

 

5. 민감도 (recall)

: 전체 positive 데이터 중 positive로 분류한 비율

• 공식 : $\frac{TP}{(TP+FN)}$
• 특징 : 1에 가까울 수록 좋음
• 사용하는 경우 : positive한 케이스를 놓치고 싶지 않은 경우 → 잘못 분류한게 많아도 되니까 다 잡아내기
• EXAMPLE : 포르노 영상 검출기 - 전체 포르노 중 포르노로 분류된 비율

 

Precision, recall trade off

1. threshold : 기준치 → 몇 프로만 넘으면 해당 값으로 분류하겠다
   • ex) threshold = 50%일 때, 5일 확률이 49%면 5가 아니다.
   • threshold가 낮음 ⇒ precision 낮음, recall 높음
   • threshold가 높음 ⇒ precision 높음, recall 낮음
2. F1 스코어 (조화평균)
   • 공식 : $2*\frac{Precision \ * \ recall}{Precision\ + \ recall}$
   • 성능 : 1에 가까울 수록 좋음 → Precision == recall == 1 인 경우에 가까운 것이기 때문
   • 사용하는 경우 : 전체적 성능 측정에 활용
3. ROC Curve (Receiver Operating Characterisitc Curve) (수신자 조작 특성 곡선) (=ROC AUC)
   • X축 : FPR (= $\frac{FP}{(FP+TN)}$ = negative를 positive로 잘못 분류한 비율)
   • y축 : TPR (= $\frac{TP}{(TP+FN)}$ = recall )
   • 직선 아래로는 안내려감
   • 성능 : 면적이 넓을 수록 좋음 ⇒ roc_auc_score로 분류기간의 성능 비교 가능