Rate this post

Machine Learning giải quyết hai dạng vấn đề: Regression problems và Classification problems. Kỹ thuật hoặc mô hình Regression techniques được sử dụng khi biến phụ thuộc của chúng ta có bản chất liên tục trong khi kỹ thuật Classification techniques được sử dụng khi biến phụ thuộc có tính Classification techniques.

Khi một mô hình Machine Learning được xây dựng, các chỉ số đánh giá khác nhau được sử dụng để kiểm tra chất lượng hoặc hiệu suất của một mô hình. Đối với các mô hình Classification techniques, các chỉ số như Accuracy, Confusion Matrix, Classification report (tức là Accuracy, recall, điểm F1) và đường cong AUC-ROC được sử dụng.

Các bài viết liên quan:

Trong bài viết này, chúng ta sẽ đi sâu vào số liệu đánh giá phổ biến và nổi tiếng nhất đó là Confusion Matrix và sẽ hiểu chi tiết tất cả các yếu tố của nó.

Tóm tắt nội dung

Confusion Matrix là gì?

Confusion Matrix là Đồ thị trực quan của 2 yếu tố Thực tế và Dự đoán. Nó đo lường hiệu suất của mô hình Classification techniques Machine Learning và trông giống như một cấu trúc giống bảng.

Đây là cách Confusion Matrix của một Classification problems nhị phân trông như thế nào:

Các yếu tố của Confusion Matrix

Nó đại diện điểm trên ma trận 2 chiều bao gồm :Thực tế và Dự đoán.

TP: True Positive: Các giá trị thực sự Positive và được dự đoán là Positive.

FP: False Positive: Các giá trị thực sự là Negative nhưng được dự đoán sai là Positive. Còn được gọi là Lỗi loại I.

FN: False Negative: Các giá trị thực sự là Positive nhưng được dự đoán sai là Negative. Còn được gọi là Lỗi loại II.

TN: True Negative: Các giá trị thực sự Negative và được dự đoán là Negative.

Các bài viết liên quan khác:

Ví dụ về confusion matrix

Lấy một ví dụ về dự án dự đoán Thị trường Chứng khoán. Đây là một Classification problems nhị phân trong đó 1 có nghĩa là thị trường chứng khoán sẽ sụp đổ và 0 có nghĩa là thị trường chứng khoán sẽ không sụp đổ và giả sử chúng ta có 1000 bản record trong tập dữ liệu của mình.

Hãy xem Confusion Matrix của những điều sau:

Trong ma trận trên, chúng ta có thể phân tích mô hình như sau:

True positive(TP): 540 record về sự sụp đổ của thị trường chứng khoán đã được mô hình dự đoán chính xác.

False Positive(FP): 150 record không phải là một sự sụp đổ của thị trường chứng khoán đã được dự đoán sai như một sự sụp đổ của thị trường.

False-negative(FN): 110 record về sự sụp đổ của thị trường đã được dự đoán sai mà không phải là sự sụp đổ của thị trường.

True Negative(TN): 200 record không phải là một sự sụp đổ của thị trường đã được dự đoán chính xác bởi mô hình.

Các chỉ số đánh giá liên quan đến confusion matrix

Accuracy:

Nó được tính bằng cách chia tổng số dự đoán đúng cho tất cả các dự đoán.

Recall / Sensitivity:

Việc recall là biện pháp để kiểm tra các kết quả dự đoán tích cực chính xác trong tổng số các kết quả tích cực.

Precision:

Precision kiểm tra xem có bao nhiêu kết quả thực sự là kết quả tích cực trong tổng số các kết quả được dự đoán tích cực.

Xem thêm Gram Matrix trong TensorFlow

F beta score:

F beta score là trung bình hài hòa của Accuracy và recall và nó thể hiện sự đóng góp của cả hai điểm. Sự đóng góp phụ thuộc vào giá trị beta trong công thức dưới đây.

Giá trị beta mặc định là 1 cung cấp cho chúng ta công thức của F1 Score, trong đó đóng góp của Accuracy và Gọi lại là như nhau. Điểm F1 càng cao thì mô hình càng tốt.

Giá trị beta <1 mang lại nhiều trọng số hơn cho Accuracy so với recall và giá trị beta> 1 mang lại nhiều trọng số hơn cho recall.

Bạn có thể tính toán giá trị của tất cả các số liệu được đề cập ở trên bằng cách sử dụng ví dụ về sự cố thị trường chứng khoán được cung cấp ở trên.

Xem thêm Data mining so với machine learning

Khi nào sử dụng các chỉ số nào để đánh giá

Đây là phần quan trọng nhất của tất cả các cuộc thảo luận ở trên, tức là khi nào sử dụng số liệu nào.

Qua câu nói này, tôi muốn nói rằng chúng ta nên sử dụng thước đo nào để đánh giá mô hình của mình, với Accuracy hoặc recall hoặc precision hoặc cả hai.

Gây nhầm lẫn ???? 😛

Không phải vậy, tôi sẽ giải thích điều này bằng cách lấy một số ví dụ sẽ rõ ràng hơn các khái niệm của bạn. Vì vậy, hãy bắt đầu.

Accuracy là số liệu tiêu chuẩn để đánh giá mô hình Machine Learning Classification techniques

Nhưng chúng ta không thể lúc nào cũng dựa vào Accuracy vì trong một số trường hợp, Accuracy khiến chúng ta hiểu sai về chất lượng của mô hình, ví dụ như trong trường hợp tập dữ liệu của chúng ta không cân bằng.

Một trường hợp khác của việc không sử dụng Accuracy là khi chúng ta đang xử lý một dự án domain cụ thể hoặc khi công ty của chúng ta muốn một kết quả cụ thể từ mô hình. Hãy đi vào chi tiết hơn với một số ví dụ.

Xem thêm Thị trường tài chính(Mở trong cửa số mới)

Ví dụ 1: Trường hợp domain cụ thể

Lấy ví dụ trước đây của chúng ta về Dự đoán sụp đổ thị trường chứng khoán, mục đích chính của chúng ta là giảm các kết quả mà mô hình dự đoán không phải là sự sụp đổ của thị trường trong khi đó là sự sụp đổ của thị trường.

Hãy tưởng tượng một tình huống trong đó mô hình của chúng ta có sai dự đoán rằng thị trường sẽ không sụp đổ và thay vào đó nó sụp đổ, mọi người đã phải trải qua rất nhiều mất mát trong trường hợp này.

Biện pháp tính đến vấn đề này là FN và do đó là recall. Vì vậy chúng ta cần tập trung vào việc giảm giá trị của FN và tăng giá trị của Recall.

Trong hầu hết các trường hợp y tế, chẳng hạn như dự đoán ung thư hoặc bất kỳ dự đoán bệnh nào, chúng ta cố gắng giảm giá trị của FN.

Xem thêm Phát hiện gian lận thẻ tín dụng với machine learning

Ví dụ 2: Phát hiện thư rác

Trong trường hợp phát hiện Email Spam, nếu một email được dự đoán là lừa đảo nhưng không thực sự là lừa đảo thì nó có thể gây ra vấn đề cho người dùng.

Trong trường hợp này, chúng ta cần tập trung vào việc giảm giá trị của FP (tức là khi thư được dự đoán sai là thư rác) và do đó, làm tăng giá trị của Precision.

Trong một số trường hợp xảy ra sự cố dữ liệu không cân bằng, cả Accuracy và recall đều quan trọng, vì vậy chúng ta coi điểm F1 như một thước đo đánh giá.

Có một khái niệm khác về đường cong AUC ROC để đánh giá mô hình Classification techniques, đây là một trong những thước đo quan trọng nhất cần tìm hiểu. chúng ta sẽ thảo luận về điều đó trong một số blog khác của tôi.

Xem thêm Các bộ dữ liệu (data set) hay nhất cho machine learning

Ưu và nhược điểm của Confusion Matrix

Confusion matrix là một công cụ quan trọng được sử dụng trong đánh giá các mô hình dự đoán trong học máy và thị giác máy tính. Nó bao gồm một bảng chứa số lượng dự đoán đúng và sai cho từng lớp trong tập dữ liệu.

Ưu điểm của Confusion Matrix:

Cung cấp cái nhìn tổng thể về hiệu suất của mô hình: Confusion matrix cung cấp thông tin về số lượng dự đoán đúng và sai cho từng lớp trong tập dữ liệu. Điều này giúp cho người dùng có thể đánh giá được hiệu suất của mô hình dự đoán trên từng lớp.
Cho phép điều chỉnh ngưỡng quyết định: Confusion matrix cho phép người dùng tùy chỉnh ngưỡng quyết định để điều chỉnh độ nhạy và độ chính xác của mô hình.
Giúp xác định vấn đề trong mô hình: Confusion matrix giúp phát hiện ra các vấn đề trong mô hình dự đoán, chẳng hạn như phân loại sai các điểm dữ liệu vào một lớp nhất định.

Nhược điểm của Confusion Matrix:

Không đưa ra được thông tin về chất lượng của dữ liệu: Confusion matrix chỉ cung cấp thông tin về hiệu suất của mô hình trên tập dữ liệu đã có sẵn, không đưa ra được thông tin về chất lượng của dữ liệu.
Có thể bị ảnh hưởng bởi sự mất cân bằng trong số lượng mẫu: Nếu có sự mất cân bằng trong số lượng mẫu giữa các lớp, confusion matrix có thể bị ảnh hưởng và không phản ánh đúng hiệu suất của mô hình.
Không phù hợp với các bài toán với nhiều lớp: Confusion matrix chỉ phù hợp với các bài toán phân loại hai lớp hoặc phân loại đa lớp đơn giản. Khi có nhiều hơn hai lớp, confusion matrix trở nên khó tính toán và khó hiểu.

Data science

Confusion Matrix là gì? các yếu tố quan trọng