Confusion Matrix

분류와 회귀분제

1. 분류(Classification) : 예측해야할 대상의 개수가 정해져있는 문제이다.

• 예를 들어) 이미지에서 개와 고양이 분류, 신용카드 거래가 사기거래인지 정상거래인지 분류

1. 회귀(Regression) : 예측해야할 대상이 연속적인 숫자인 문제

• 예를 들어) 일기 예보에서 내일의 기온 예측, 주어진 데이터에서 집값 예측

1. 평가 지표(Evaluation Metric)

• 분류, 회귀 머신러닝 문제의 성능을 평가할 지표

Confusion Matrix		Prediction (예측)
Negative	Positive
실제	Negative	TN (True Negative)	FP (False Positive)
Positive	FN (False Negative)	TP (True Positive)

1. Accuracy :  (TP + TN) / (TP + TN + FP + FN)

(분자)

Confusion Matrix		Prediction (예측)
Negative	Positive
실제	Negative	✅ TN	FP
Positive	FN	✅ TP

—————————-——————-

(분모)

Confusion Matrix		Prediction (예측)
Negative	Positive
실제	Negative	✅ TN	✅ FP
Positive	✅ FN	✅ TP

정확도, 전체 데이터 중 모델이 바르게 분류한 척도를 의미한다.

cf) 불균형한 지표에는 부적합한 평가지표이다.

가령, 100명 중 1명의 암 환자를 예측하여 진단한다고 할 때, 100명을 모두 암환자가 아니라고 진단할 경우, 99%의 정확도를 보인다.

99%라는 숫자는 높아보이지만 결국 1명의 암환자를 정확하게 진단하지 못한다.  -> 적합한 평가지표가 아니다.

---

2. Precision : TP / (TP + FP)

(분자)

Confusion Matrix		Prediction (예측)
Negative	Positive
실제	Negative	TN	FP
Positive	FN	✅ TP

-————————————————

Confusion Matrix		Prediction (예측)
Negative	Positive
실제	Negative	TN	✅ FP
Positive	FN	✅ TP

= 정밀도

모델이 positive라고 예측한 값중 실제값이 positive 인 비율.

➡️ negative인 비율이 더 중요한 경우(negative인 데이터를 poisitive라고 판단하면 안될 경우)에 쓰인다.

대표적으로 스팸메일 (일반 메일을 스팸메일로 분류하게되면 중요한 메일을 놓칠 수 있다.)

따라서, 스팸메일을 걸러내지 못하더라도 일반 메일을 스팸메일로 잘못분류하지 않도록 하는 것이 중요하다.

---

3. Recall : TP / (TP + FN)

(분자)

Confusion Matrix		Prediction (예측)
Negative	Positive
실제	Negative	TN	FP
Positive	FN	✅ TP

-———————————————

Confusion Matrix		Prediction (예측)
Negative	Positive
실제	Negative	TN	FP
Positive	✅ FN	✅ TP

= 재현율

실제값이 Positive인 것 중, 모델이 Positive라고 분류한 비율

Positive인 지표가 더 중요할 경우(실제 Positive인 데이터를 Negative라고 판단하면 안될 때 사용한다,)

➡️ 종양을 진단할 때, 악성종양을 음성종양으로 분류하면 환자의 생명이 위급해질 수 있다.

ROC

1. True Positive Ratio = TP / (TP + FN)

1인 case에 대해 1로 잘 예측한 비율

2. False Positive Ratio = FP / (FP + TN)

0인 case에 대해 1로 잘못 예측한 비율

AUC : ROC의 면적을 나타낸 것으로 0과 1사이 값을 가질 수 있고, 1에 가까워질수록 모델이 잘 예측, 0에 가까워질수록 모델이 잘못예측할 경우를 말한다.