Confusion matrix là một công cụ vô cùng quan trọng trong lĩnh vực Machine Learning, đặc biệt là trong việc đánh giá hiệu suất của các mô hình phân loại. Để minh họa cho khái niệm này, hãy cùng tưởng tượng rằng bạn đang tham gia vào một trò chơi phân loại động vật, trong đó bạn cần phân biệt giữa các loài như hổ, sư tử và báo. Bạn sẽ sử dụng một mô hình trí tuệ nhân tạo (AI) giúp nhận diện và phân loại động vật từ những bức ảnh mà bạn cung cấp.
Các Khái Niệm Cơ Bản Trong Confusion Matrix
Khi đánh giá một mô hình phân loại, bạn sẽ gặp phải bốn khái niệm chính trong confusion matrix:
- True Positive (TP): Là số lượng mẫu mà mô hình dự đoán chính xác là thuộc một lớp cụ thể. Chẳng hạn, nếu mô hình của bạn nhận diện đúng 8 con hổ, đó chính là TP.
- True Negative (TN): Là số lượng mẫu mà mô hình dự đoán đúng không thuộc một lớp nào đó. Ví dụ, nếu mô hình khẳng định một con báo không phải là sư tử, đó là TN.
- False Positive (FP): Là số mẫu mà mô hình dự đoán sai. Ví dụ, nếu mô hình cho rằng một con báo là sư tử, nhưng thực tế không phải vậy, đó sẽ là FP.
- False Negative (FN): Là số mẫu mà mô hình không nhận diện được đúng. Ví dụ, nếu mô hình cho biết một con sư tử không phải là sư tử, đây là FN.
Ví Dụ Cụ Thể
Giả sử bạn có một hình ảnh chứa 100 con động vật, trong đó có 10 con hổ, 20 con sư tử và 70 con báo. Sau khi sử dụng mô hình AI của bạn để phân loại chúng, nếu mô hình đã nhận diện đúng 8 con hổ, 18 con sư tử và 60 con báo, confusion matrix của bạn sẽ được thể hiện như sau:
| Thực tế | Hổ | Sư tử | Báo |
|---|---|---|---|
| Dự đoán Hổ | 8 | 0 | 2 |
| Dự đoán Sư tử | 2 | 18 | 0 |
| Dự đoán Báo | 0 | 2 | 60 |
Trong bảng confusion matrix này:
- Ở hàng Dự đoán Hổ: Mô hình đã dự đoán đúng 8 con hổ và có 2 con khi dự đoán sai thành báo.
- Ở hàng Dự đoán Sư tử: Mô hình đã dự đoán sai 2 con sư tử thành hổ và chính xác 18 con là sư tử.
- Ở hàng Dự đoán Báo: Tất cả 60 con báo đều được dự đoán chính xác.
Tính Toán Chỉ Số Precision và Recall
Dựa vào confusion matrix trên, bạn có thể tính toán các chỉ số như Precision và Recall:
Precision (Độ Chính Xác)
- Precision của lớp Hổ: TP_Hổ / (TP_Hổ + FP_Hổ) = 8 / (8 + 2) = 0.8
- Precision của lớp Sư tử: TP_Sư tử / (TP_Sư tử + FP_Sư tử) = 18 / (18 + 2) = 0.9
- Precision của lớp Báo: TP_Báo / (TP_Báo + FP_Báo) = 60 / (60 + 2) ≈ 0.968
Recall (Độ Nhớ)
- Recall của lớp Hổ: TP_Hổ / (TP_Hổ + FN_Hổ) = 8 / (8 + 0) = 1
- Recall của lớp Sư tử: TP_Sư tử / (TP_Sư tử + FN_Sư tử) = 18 / (18 + 2) = 0.9
- Recall của lớp Báo: TP_Báo / (TP_Báo + FN_Báo) = 60 / (60 + 0) = 1
Kết Luận
Việc sử dụng confusion matrix không chỉ giúp bạn hiểu rõ hơn về hiệu suất của mô hình phân loại mà còn hỗ trợ trong việc nhận diện và khắc phục các vấn đề như dự đoán sai hay không nhận diện được. Đây là các chỉ số quan trọng mà các nhà khoa học dữ liệu cần nắm rõ để cải thiện mô hình của họ.
source: viblo
