Thống kê Cohen’s Kappa là một số liệu rất hữu ích nhưng chưa được sử dụng đầy đủ. Đôi khi trong học máy, chúng ta phải đối mặt với vấn đề phân loại nhiều lớp. Trong những trường hợp đó, các thước đo như accuracy, hoặc precision/recall không cung cấp bức tranh toàn cảnh về hiệu suất của bộ phân loại của chúng ta.
Các bài viết liên quan:
Trong một số trường hợp khác, chúng ta có thể gặp phải vấn đề với các lớp không cân bằng. Ví dụ. chúng ta có hai lớp, giả sử A và B, và A xuất hiện trên 5% lần. Accuracy có thể bị sai lệch, vì vậy chúng ta áp dụng các biện pháp như precision/recall. Có nhiều cách để kết hợp cả hai, chẳng hạn như độ đo F, nhưng độ đo F không có cách giải thích trực quan tốt, ngoài việc nó là giá trị trung bình hài hòa của độ chính xác và độ thu hồi.
Thống kê Cohen’s kappa là một thước đo rất tốt có thể xử lý rất tốt các bài toán nhiều lớp và lớp không cân bằng.
Cohen’s kappa được định nghĩa:
Trong đó Po là thỏa thuận được quan sát và Pe là thỏa thuận mong đợi. Về cơ bản, nó cho bạn biết bộ phân loại của bạn đang hoạt động tốt hơn bao nhiêu so với hiệu suất của bộ phân loại chỉ đơn giản là đoán ngẫu nhiên theo tần suất của mỗi lớp.
Cohen’s kappa luôn nhỏ hơn hoặc bằng 1. Giá trị bằng 0 hoặc nhỏ hơn, cho biết rằng trình phân loại là vô dụng. Không có cách chuẩn hóa nào để diễn giải các giá trị của nó. Landis và Koch (1977) cung cấp một cách để mô tả các giá trị. Theo sơ đồ của họ, giá trị <0 cho thấy không có thỏa thuận, 0–0,20 là nhẹ, 0,21–0,40 là công bằng, 0,41–0,60 là vừa, 0,61–0,80 là đáng kể và 0,81–1 là thỏa thuận gần như hoàn hảo.
Cohen’s kappa được cung cấp bởi nhiều gói phần mềm và thư viện như caret, Weka và scikit-learning. Vì vậy, lần tới khi bạn gặp vấn đề với các lớp không cân bằng hoặc vấn đề phân loại nhiều lớp, hãy thử!
Cách tính Kappa
Công thức của Kappa là:
Chúng tôi tính toán thỏa thuận quan sát được bằng cách tính tần suất mà hai phép đo đã thống nhất với nhau:
Chúng tôi tính toán thỏa thuận mong đợi trước tiên bằng cách tính toán các giá trị mong đợi của các ô trong bảng 2 × 2 bằng cách sử dụng các tần số biên, sau đó sử dụng các số ô đó để tính tần suất mà hai phép đo dự kiến sẽ đồng ý:
Cách tính tần số ô dự kiến:
Khi hai phép đo chỉ đồng ý ngẫu nhiên, kappa = 0. Khi hai phép đo đồng ý hoàn toàn, kappa = 1
