Phân loại trong machine learning là một tác vụ quan trọng, trong đó mô hình học máy được huấn luyện để phân biệt và gán nhãn cho các đối tượng vào một hoặc nhiều lớp dựa trên các đặc điểm của chúng. Mục tiêu của phân loại là dự đoán lớp chính xác của một đối tượng chưa biết dựa trên kiến thức đã học từ một tập dữ liệu đã được gán nhãn. Quá trình này đóng một vai trò thiết yếu trong việc giải quyết nhiều vấn đề thực tế, từ phát hiện gian lận trong giao dịch tài chính, phân loại email là thư rác hay không, đến chẩn đoán y tế.
Tác vụ phân loại có thể được phân loại thành hai loại chính: phân loại nhị phân, nơi chỉ có hai lớp đầu ra có thể (ví dụ, phát hiện email thư rác: thư rác hoặc không thư rác), và phân loại đa lớp, nơi có nhiều hơn hai lớp đầu ra (ví dụ, nhận dạng chữ viết tay: phân loại mỗi bức ảnh thành một trong 10 chữ số từ 0 đến 9).
Một số ví dụ điển hình của tác vụ phân loại bao gồm:
- Phát hiện gian lận: Phân loại các giao dịch tài chính là bình thường hay gian lận.
- Chẩn đoán y tế: Sử dụng dữ liệu bệnh nhân để phân loại các trường hợp là bệnh hay không bệnh, hoặc phân loại loại bệnh cụ thể.
- Nhận dạng chữ viết tay: Phân loại các bức ảnh của chữ viết tay thành các chữ số tương ứng.
- Phân loại văn bản: Xác định chủ đề hoặc tâm trạng của đoạn văn bản, như xác định một bài đánh giá sản phẩm có tính cảm xúc tích cực hay tiêu cực.
Tầm quan trọng của phân loại trong machine learning không chỉ dừng lại ở việc giải quyết các vấn đề cụ thể mà còn mở rộng tới việc cung cấp cái nhìn sâu sắc về dữ liệu, giúp doanh nghiệp và tổ chức đưa ra quyết định dựa trên dữ liệu một cách chính xác và hiệu quả.
Nguyên Tắc Cơ Bản của Classification
Trong machine learning, nguyên tắc cơ bản của classification dựa trên việc sử dụng không gian đặc trưng (feature space) và nhãn lớp (class labels) để xây dựng một mô hình có khả năng phân biệt và dự đoán lớp của dữ liệu mới. Không gian đặc trưng là tập hợp các đặc điểm hoặc thuộc tính được sử dụng để mô tả mỗi đối tượng trong tập dữ liệu. Nhãn lớp là kết quả hoặc danh mục mà mỗi đối tượng thuộc về, được xác định trước trong quá trình giám sát học.
Sự Khác Biệt giữa Phân Loại Nhị Phân và Đa Lớp
Phân loại nhị phân là trường hợp đơn giản nhất của classification, nơi chỉ có hai nhãn lớp. Một ví dụ điển hình là tác vụ phát hiện thư rác, nơi emails được phân loại thành “thư rác” hoặc “không phải thư rác”. Mỗi đối tượng (trong trường hợp này là email) được mô tả bởi một tập hợp các đặc trưng và được gán một trong hai nhãn.
Phân loại đa lớp mở rộng khái niệm này bằng cách cho phép nhiều hơn hai nhãn lớp. Ví dụ, trong bài toán nhận dạng chữ viết tay, một ảnh chứa một chữ số cần được phân loại vào một trong mười lớp (0 đến 9). Điều này đòi hỏi mô hình phải có khả năng xác định chính xác từ một tập hợp các đặc trưng, đối tượng đó thuộc về lớp nào trong số nhiều lớp có thể.
Quy Trình Training và Testing Một Mô Hình Phân Loại
Quy trình training (huấn luyện) một mô hình phân loại bắt đầu từ việc cung cấp một tập dữ liệu đã được gán nhãn, nơi mỗi mẫu dữ liệu có một tập hợp các đặc trưng và một nhãn lớp tương ứng. Trong giai đoạn này, mô hình học cách liên kết các đặc trưng với nhãn lớp dựa trên mẫu dữ liệu.
Sau khi mô hình đã được huấn luyện, nó sẽ được thử nghiệm trên một tập dữ liệu mới (testing set) mà mô hình chưa từng thấy trước đó để đánh giá khả năng tổng quát hóa của nó đối với dữ liệu mới. Việc này giúp kiểm tra xem mô hình có thể dự đoán chính xác nhãn lớp dựa trên đặc trưng của dữ liệu mà không cần đến nhãn thực tế hay không. Đánh giá mô hình thường dựa trên các chỉ số như độ chính xác (accuracy), độ nhạy (recall), độ phân biệt (precision), và F1-score.
Quy trình training và testing là bước không thể thiếu trong việc xây dựng mô hình phân loại hiệu quả, giúp xác định được mô hình nào phù hợp nhất với bài toán cụ thể và có khả năng áp dụng vào thực tiễn.
Thuật toán Machine learning Classification
Classification là một trong những khía cạnh quan trọng nhất của việc học có giám sát.
Trong bài viết này, chúng ta sẽ thảo luận về các thuật toán Classification khác nhau như Regression logistic, vịnh nhỏ, Decision Tree, Random Forest và nhiều thuật toán khác. Chúng ta sẽ xem xét từng thuộc tính Classification của thuật toán và cách chúng hoạt động.
Thuật toán Regression logistic
Regression logistic có thể là một thuật toán Classification học có giám sát sẽ không dự đoán xác suất của một biến mục tiêu. Đây là một trong những thuật toán ML duy nhất sẽ được sử dụng cho các vấn đề Classification khác nhau như phát hiện spam, dự đoán bệnh tiểu đường, phát hiện ung thư, v.v.
Regression logistic đơn giản hơn để triển khai, diễn giải và thực sự hiệu quả để huấn luyện.
Nếu số lượng quan sát ít hơn số lượng tính năng, thì không nên sử dụng Regression logistic, nếu không, nó sẽ gây ra tình trạng trang bị quá mức.
Chúng tôi sử dụng Regression logistic để Classification nhị phân các điểm dữ liệu. Chúng tôi thực hiện Classification Classification sao cho đầu ra thuộc một trong hai lớp (1 hoặc 0).
Ví dụ – chúng ta có thể dự đoán liệu hôm nay trời có mưa hay không, dựa trên điều kiện thời tiết hiện tại.
Hai trong số những phần quan trọng của Regression logistic là Giả thuyết và Đường cong Sigmoid. Với sự trợ giúp của giả thuyết này, chúng ta có thể suy ra khả năng xảy ra sự kiện.
Dữ liệu được tạo ra từ giả thuyết này có thể phù hợp với hàm log tạo ra một đường cong hình chữ S được gọi là “sigmoid”. Sử dụng chức năng nhật ký này, chúng ta có thể dự đoán thêm về danh mục của lớp.
Xem thêm Regression logistic – kiến thức cơ bản
Chúng ta có thể đại diện cho sigmoid như sau:
Biểu đồ được tạo ra là thông qua hàm logistic này:
1 / (1 + e ^ -x)
Chữ ‘e’ trong phương trình trên đại diện cho đường cong hình chữ S có các giá trị từ 0 đến 1.
Chúng tôi viết phương trình Regression logistic như sau:
y = e ^ (b0 + b1 * x) / (1 + e ^ (b0 + b1 * x))
Trong phương trình trên, b0 và b1 là hai hệ số của đầu vào x.
Chúng tôi ước tính hai hệ số này bằng cách sử dụng “maximum likelihood estimation“.
Xem thêm 7 Kỹ thuật được sử dụng trong Data mining
Thuật toán Bayes Naïve
Thuật toán Naïve Bayes có thể là một thuật toán học có giám sát, được dự đoán trên định lý Bayes và được sử dụng để giải các bài toán Classification. Đó không phải là một thuật toán mà là một nhóm thuật toán trong đó tất cả chúng đều có chung một nguyên tắc tiêu chuẩn, tức là mọi cặp tính năng đang được Classification là độc lập với mọi tính năng khác.
Naïve Bayes Classifier là một trong những thuật toán Classification đơn giản và tốt nhất giúp xây dựng các mô hình học máy nhanh sẽ đưa ra các dự đoán nhanh chóng.
Naive Bayes là một trong những thuật toán học máy mạnh mẽ được sử dụng để Classification. Nó là một phần mở rộng của định lý Bayes, trong đó mỗi đặc điểm giả định sự độc lập. Nó được sử dụng cho nhiều nhiệm vụ khác nhau như lọc thư rác và các lĩnh vực Classification văn bản khác.
Xem thêm Regression trong Data Mining
Thuật toán Naive Bayes hữu ích cho:
- Naive Bayes là một cách dễ dàng và nhanh chóng để dự đoán lớp của tập dữ liệu. Sử dụng điều này, người ta có thể thực hiện một dự đoán nhiều lớp.
- Khi giả định về tính độc lập là hợp lệ, Naive Bayes có nhiều khả năng hơn các thuật toán khác như Regression logistic.
- Hơn nữa, bạn sẽ yêu cầu ít dữ liệu đào tạo hơn.
Xem thêm Classification các hệ thống data mining
Naive Bayes tuy nhiên, mắc phải những nhược điểm sau:
- Nếu biến Classification thuộc danh mục không được theo dõi trong tập huấn luyện, thì mô hình sẽ cung cấp cho nó một xác suất bằng 0, điều này sẽ ngăn nó đưa ra bất kỳ dự đoán nào.
- Naive Bayes giả định sự độc lập giữa các tính năng của nó. Trong cuộc sống thực, rất khó để thu thập dữ liệu liên quan đến các tính năng hoàn toàn độc lập.
Thuật toán Decision Tree
Các thuật toán Decision Tree được sử dụng cho cả dự đoán cũng như Classification trong học máy.
Sử dụng Decision Tree với một tập hợp các yếu tố đầu vào nhất định, người ta có thể lập bản đồ các kết quả khác nhau là kết quả của các hệ quả hoặc quyết định.
Xem thêm Tìm hiểu về Decision Tree( cây quyết định)
Chúng ta có thể hiểu Decision Tree với ví dụ sau:
Hãy giả sử rằng bạn phải đi chợ để mua một số sản phẩm. Lúc đầu, bạn sẽ đánh giá xem bạn có thực sự cần sản phẩm hay không.
Giả sử, bạn sẽ chỉ mua dầu gội đầu nếu bạn dùng hết. Nếu không có dầu gội, bạn sẽ đánh giá thời tiết bên ngoài và xem trời có mưa hay không. Nếu trời không mưa, bạn sẽ đi và ngược lại, bạn sẽ không.
Decision Tree này là kết quả của các bước phân cấp khác nhau sẽ giúp bạn đi đến các quyết định nhất định. Trong ord
Để xây dựng cây này, có hai bước – Khởi tạo và Cắt tỉa. Trong quá trình cảm ứng, chúng tôi xây dựng một cái cây trong khi cắt tỉa, chúng tôi loại bỏ một số phức tạp của cây.
Xem thêm Classification và phân lớp trong R
Thuật toán K-Nearest Neighbors
K-Nearest Neighbors gần nhất là một trong những thuật toán Classification cơ bản nhưng quan trọng nhất trong học máy.
KNN thuộc miền học được giám sát và có một số ứng dụng trong nhận dạng mẫu, khai thác dữ liệu và phát hiện xâm nhập. Các KNN này được sử dụng trong các tình huống thực tế yêu cầu các thuật toán phi tham số. Các thuật toán này không đưa ra bất kỳ giả định nào về cách dữ liệu được phân phối.
Khi chúng tôi được cung cấp dữ liệu trước, KNN Classification các tọa độ thành các nhóm được xác định bởi một thuộc tính cụ thể.
Support vector machine
Máy vectơ hỗ trợ là một loại thuật toán học máy được giám sát cung cấp phân tích dữ liệu để Classification và phân tích Regression.
Trong khi chúng có thể được sử dụng để Regression, SVM chủ yếu được sử dụng để Classification. Chúng tôi thực hiện vẽ đồ thị trong không gian n chiều. Giá trị của mỗi đối tượng địa lý cũng là giá trị của tọa độ được chỉ định. Sau đó, chúng ta tìm thấy siêu phẳng lý tưởng phân biệt giữa hai lớp.
Các vectơ hỗ trợ này là biểu diễn tọa độ của quan sát riêng lẻ. Nó là một phương thức biên giới để tách biệt hai lớp.
Hỗ trợ Vector Machine (SVM) Phương pháp biên giới – thuật toán Machine learning Classification.
Xem thêm Machine learning: Thuật toán SVM
Thuật toán Random Forest
Bộ Classification Random Forest là một loại phương pháp học tập hợp được sử dụng để Classification, Regression và các tác vụ khác có thể được thực hiện với sự trợ giúp của Decision Tree. Các Decision Tree này có thể được xây dựng tại thời điểm đào tạo và đầu ra của lớp có thể là Classification hoặc Regression.
Với sự giúp đỡ của những khu Random Forest này, người ta có thể sửa thói quen quá thích hợp với bộ huấn luyện.
Một số ưu điểm và nhược điểm của bộ Classification Random Forest như sau:
Ưu điểm – Bộ Classification Random Forest tạo điều kiện giảm thiểu sự phù hợp quá mức của mô hình và các bộ Classification này chính xác hơn Decision Tree trong một số trường hợp.
Nhược điểm – Random Forest thể hiện khả năng dự đoán theo thời gian thực nhưng bản chất là chậm. Chúng cũng khó thực hiện và có một thuật toán phức tạp.
Xem thêm Cách học Machine Learning hiệu quả- 7 bước học Machine learning
Thuật toán Stochastic Gradient Descent
Stochastic Gradient Descent (SGD) là một lớp thuật toán học máy thích hợp cho việc học tập trên quy mô lớn. Đó là một cách tiếp cận hiệu quả hướng tới việc học phân biệt các bộ Classification tuyến tính theo hàm mất mát lồi tuyến tính (SVM) và Regression logistic.
Chúng tôi áp dụng SGD cho các bài toán máy học quy mô lớn trong Classification văn bản và các lĩnh vực khác của Xử lý ngôn ngữ tự nhiên. Nó có thể mở rộng quy mô một cách hiệu quả các vấn đề có hơn 10 ^ 5 ví dụ đào tạo được cung cấp với hơn 10 ^ 5 tính năng.
Sau đây là những ưu điểm của Stochastic Gradient Descent:
- Các thuật toán này hiệu quả.
- Chúng ta có thể thực hiện các thuật toán này khá dễ dàng.
Tuy nhiên, Stochastic Gradient Descent (SGD) có những nhược điểm sau:
- Thuật toán SGD yêu cầu một số siêu tham số như vậy có chính quy và một số lần lặp lại.
Nó cũng khá nhạy cảm với tính năng mở rộng quy mô, đây là một trong những bước quan trọng nhất trong quá trình tiền xử lý dữ liệu.
Xem thêm Các ứng dụng của Machine Learning trong thực tế
Thuật toán Kernel Approximation
Trong mô-đun con này, có nhiều chức năng khác nhau thực hiện tính gần đúng của các bản đồ đặc trưng tương ứng với một số hạt nhân nhất định được sử dụng làm ví dụ trong máy vectơ hỗ trợ. Các hàm đặc trưng này thực hiện một loạt các phép biến đổi phi tuyến tính của đầu vào, đóng vai trò là cơ sở của Classification tuyến tính hoặc các thuật toán khác.
Một lợi thế của việc sử dụng các tính năng gần đúng cũng có bản chất rõ ràng so với thủ thuật hạt nhân là các ánh xạ rõ ràng tốt hơn khi học trực tuyến, có thể giảm đáng kể chi phí học trên các tập dữ liệu rất lớn.
Các SVM được kết hợp từ chuẩn không thể chia tỷ lệ phù hợp với các bộ dữ liệu lớn nhưng với một bản đồ hạt nhân gần đúng, người ta có thể sử dụng nhiều SVM tuyến tính hiệu quả.
Xử Lý Dữ Liệu Đầu Vào
Xử lý dữ liệu đầu vào là một giai đoạn quan trọng và thường xuyên được coi là bước đầu tiên trong bất kỳ dự án machine learning nào. Việc chuẩn bị dữ liệu bao gồm làm sạch dữ liệu, xử lý dữ liệu thiếu, và mã hóa các biến phân loại, tạo điều kiện cho việc phân tích và mô hình hóa dữ liệu diễn ra suôn sẻ và chính xác hơn.
Tầm quan trọng của việc chuẩn bị dữ liệu
- Làm sạch dữ liệu: Loại bỏ nhiễu và dữ liệu không liên quan giúp tăng độ chính xác của mô hình. Điều này có thể bao gồm việc loại bỏ các hàng hoặc cột dư thừa, xử lý các giá trị ngoại lệ, và đảm bảo tính nhất quán trong dữ liệu.
- Xử lý dữ liệu thiếu: Dữ liệu thực tế thường không hoàn hảo và có thể chứa các lỗ hổng. Các kỹ thuật như điền giá trị trung bình, trung vị, hoặc sử dụng mô hình để ước lượng giá trị thiếu có thể giúp cải thiện chất lượng dữ liệu đầu vào.
- Mã hóa các biến phân loại: Hầu hết các thuật toán machine learning yêu cầu dữ liệu đầu vào dưới dạng số. Do đó, việc chuyển đổi các biến phân loại thành dạng số (ví dụ, sử dụng mã hóa one-hot hoặc label encoding) là bước không thể thiếu trước khi xây dựng mô hình.
Kỹ thuật chia tập dữ liệu
- Training set: Đây là tập dữ liệu được sử dụng để huấn luyện mô hình. Mô hình học cách liên kết dữ liệu đầu vào với dữ liệu đầu ra mong muốn từ tập dữ liệu này.
- Validation set: Sử dụng trong quá trình tinh chỉnh mô hình, validation set giúp đánh giá hiệu suất mô hình và tránh overfitting. Việc sử dụng tập dữ liệu này giúp chọn lựa và điều chỉnh các tham số của mô hình.
- Test set: Dùng để đánh giá hiệu suất cuối cùng của mô hình sau khi đã được huấn luyện và tinh chỉnh. Tập dữ liệu này chưa từng được mô hình “thấy” trong quá trình huấn luyện và tinh chỉnh, giúp đánh giá khả năng tổng quát hóa của mô hình đối với dữ liệu mới.
Việc chia tập dữ liệu thành ba phần này giúp đảm bảo rằng mô hình không chỉ học tốt trên dữ liệu đã biết mà còn có khả năng tổng quát hóa tốt trên dữ liệu mới, qua đó nâng cao chất lượng và độ tin cậy của dự đoán mô hình trong thực tế.
Đánh giá mô hình phân loại
Đánh giá mô hình phân loại là một phần quan trọng trong quy trình phát triển mô hình machine learning, giúp xác định hiệu suất và khả năng áp dụng của mô hình vào thực tiễn. Dưới đây là một số chỉ số đánh giá và công cụ quan trọng được sử dụng để đánh giá mô hình phân loại:
Các Chỉ Số Đánh Giá Mô Hình
- Độ Chính Xác (Accuracy): Đo lường tỷ lệ mẫu được phân loại chính xác trên tổng số mẫu. Đây là chỉ số cơ bản và trực quan nhất, nhưng có thể không phản ánh chính xác hiệu suất mô hình với dữ liệu không cân bằng.
- Độ Nhạy (Recall): Còn được gọi là tỷ lệ dương tính thực sự, đo lường tỷ lệ các mẫu dương tính thực sự được phân loại chính xác.
- Độ Phân Biệt (Precision): Đo lường tỷ lệ các mẫu được dự đoán là dương tính thực sự là dương tính. Đây là chỉ số quan trọng trong các tình huống mà chi phí của việc phân loại sai dương tính cao.
- F1-Score: Là trung bình điều hòa của precision và recall, cung cấp một đánh giá tổng thể về hiệu suất mô hình khi cần cân nhắc cả độ nhạy và độ phân biệt.
Ma Trận Nhầm Lẫn (Confusion Matrix)
Ma trận nhầm lẫn là một công cụ hữu ích để trực quan hóa hiệu suất của mô hình phân loại. Nó cho thấy số lượng dự đoán đúng và sai được phân chia theo mỗi lớp, từ đó giúp nhận diện được liệu mô hình có xu hướng phân loại sai một cách đặc biệt nào không.
ROC Curves và AUC Scores
- ROC Curves (Receiver Operating Characteristic Curves): Biểu đồ này thể hiện mối quan hệ giữa tỷ lệ dương tính thực sự (TPR – True Positive Rate) và tỷ lệ dương tính giả (FPR – False Positive Rate) tại nhiều ngưỡng phân loại khác nhau. ROC curve giúp đánh giá sự cân bằng giữa lợi ích của việc phát hiện đúng các trường hợp dương tính và rủi ro của việc tạo ra các dương tính giả.
- AUC Scores (Area Under the ROC Curve): Là diện tích nằm dưới ROC curve, cung cấp một đánh giá tổng thể về hiệu suất của mô hình. Một mô hình hoàn hảo sẽ có AUC là 1, trong khi một mô hình phân loại ngẫu nhiên sẽ có AUC khoảng 0.5.
Việc hiểu và áp dụng thành thạo các chỉ số và công cụ này giúp nhà phát triển có cái nhìn sâu sắc về hiệu suất và đặc điểm của mô hình phân loại, từ đó đưa ra các quyết định tinh chỉnh mô hình một cách hiệu quả.
Kết luận thuật toán Classification trong machine learning
Trong bài viết trên, chúng ta đã tìm hiểu về các thuật toán khác nhau được sử dụng để Machine learning Classification. Các thuật toán này được sử dụng cho nhiều nhiệm vụ khác nhau trong Classification. Chúng tôi cũng đã phân tích những lợi ích và hạn chế của chúng.
Mục đích của blog này là cung cấp một bức tranh rõ ràng về từng thuật toán Classification trong học máy.
