Stepwise Regression là việc xây dựng lặp đi lặp lại từng bước của một mô hình hồi quy liên quan đến việc lựa chọn các biến độc lập để sử dụng trong mô hình cuối cùng. Nó liên quan đến việc thêm hoặc xóa các biến giải thích tiềm năng liên tiếp và kiểm tra ý nghĩa thống kê sau mỗi lần lặp.
Sự sẵn có của các gói phần mềm thống kê giúp cho việc Stepwise Regression có thể thực hiện được, ngay cả trong các mô hình có hàng trăm biến.
Các bài viết liên quan:
Mô tả rõ hơn về Stepwise Regression
- Stepwise Regression là một phương pháp kiểm tra lặp đi lặp lại ý nghĩa thống kê của từng biến độc lập trong một mô hình hồi quy tuyến tính.
- Phương pháp lựa chọn chuyển tiếp bắt đầu với không có gì và thêm từng biến mới tăng dần, kiểm tra ý nghĩa thống kê.
- Phương pháp loại bỏ ngược bắt đầu với một mô hình đầy đủ được tải với một số biến và sau đó loại bỏ một biến để kiểm tra tầm quan trọng của nó so với kết quả tổng thể.
- Stepwise Regression cũng có những nhược điểm, nó là một cách tiếp cận với dữ liệu nhằm đạt được kết quả mong tốt.
Xem thêm Regression trong Data Mining
Các loại Stepwise Regression
Mục tiêu cơ bản của Stepwise Regression là thông qua một loạt các thử nghiệm (ví dụ: kiểm định F, kiểm định t) để tìm ra một tập hợp các biến độc lập có ảnh hưởng đáng kể đến biến phụ thuộc.
Điều này được thực hiện với máy tính thông qua lặp đi lặp lại, là quá trình đi đến kết quả hoặc quyết định bằng cách trải qua các vòng hoặc chu kỳ phân tích lặp đi lặp lại. Việc tiến hành kiểm tra một cách tự động với sự trợ giúp từ các gói phần mềm thống kê có ưu điểm là tiết kiệm thời gian và hạn chế sai sót.
Stepwise Regression có thể đạt được bằng cách thử một biến độc lập tại một thời điểm và đưa nó vào mô hình hồi quy nếu nó có ý nghĩa thống kê hoặc bằng cách bao gồm tất cả các biến độc lập tiềm năng trong mô hình và loại bỏ những biến không có ý nghĩa thống kê. Một số sử dụng kết hợp cả hai phương pháp và do đó có ba cách tiếp cận để Stepwise Regression:
- Lựa chọn chuyển tiếp bắt đầu với không có biến nào trong mô hình, kiểm tra từng biến khi nó được thêm vào mô hình, sau đó giữ lại những biến được coi là có ý nghĩa thống kê nhất — lặp lại quá trình cho đến khi kết quả là tối ưu.
- Loại bỏ ngược bắt đầu với một tập hợp các biến độc lập, xóa từng biến một, sau đó kiểm tra xem biến bị loại bỏ có ý nghĩa thống kê hay không.
- Loại bỏ hai chiều là sự kết hợp của hai phương pháp đầu tiên để kiểm tra biến nào nên được bao gồm hoặc loại trừ.
Ví dụ:
Một ví dụ rõ ràng nhất của Stepwise Regression khi sử dụng loại bỏ ngược để xác định biến nào có ảnh hưởng lớn nhất đến việc sử dụng năng lượng tại một nhà máy trong năm.
Mô hình ban đầu chạy sẽ bao gồm tất cả các biến số ảnh hưởng, sau đó chúng ta sẽ loại bỏ dần, từng biến một để xác định biến cố quan trọng nhất đến kết quả.
Xem thêm Logistic Regression trong R
Cuối cung qua mô hình cho ta thấy sử dụng năng lượng tại một nhà máy ảnh hưởng nhiều nhất khi nhiệt độ tăng là đáng kể nhất.
Hạn chế của Stepwise Regression
Phân tích hồi quy, cả tuyến tính và đa biến, được sử dụng rộng rãi trong thế giới kinh tế và đầu tư ngày nay. Ý tưởng thường là tìm những mẫu đã tồn tại trong quá khứ và cũng có thể tái diễn trong tương lai. Ví dụ, một hồi quy tuyến tính đơn giản có thể xem xét tỷ lệ giá trên thu nhập và lợi nhuận cổ phiếu trong nhiều năm để xác định xem cổ phiếu có tỷ lệ P / E thấp (biến độc lập) có mang lại lợi nhuận cao hơn hay không (biến phụ thuộc). Vấn đề của cách tiếp cận này là các điều kiện thị trường thường thay đổi và các mối quan hệ đã có trong quá khứ không nhất thiết phải đúng trong hiện tại hoặc tương lai.
Trong khi đó, quá trình Stepwise Regression có nhiều chỉ trích và thậm chí có những lời kêu gọi ngừng sử dụng phương pháp này hoàn toàn. Các nhà thống kê lưu ý một số nhược điểm của phương pháp này, bao gồm kết quả không chính xác, sự thiên vị cố hữu trong chính quy trình và sự cần thiết của sức mạnh tính toán đáng kể để phát triển các mô hình hồi quy phức tạp thông qua lặp lại.
Xem thêm Sử dụng hồi quy tuyến tính trong SAS
