Rate this post

Câu hỏi lớn nhất của chúng tôi là, làm thế nào chúng tôi đào tạo một mô hình để xác định các thông số trọng lượng sẽ giảm thiểu hàm lỗi của chúng tôi. Hãy bắt đầu làm thế nào gradient descent giúp chúng tôi đào tạo mô hình của chúng tôi.

Các bài viết liên quan:

Đầu tiên, mô hình tuyến tính sẽ bắt đầu với một tham số ban đầu gọi lại ngẫu nhiên khi chúng ta khởi tạo mô hình bằng hàm tuyến tính. Nó thực sự đã cho chúng tôi một tham số ban đầu ngẫu nhiên.

Bây giờ chúng ta hãy bỏ qua giá trị thiên vị và dựa trên lỗi được liên kết với tham số ban đầu này A. Động cơ của chúng ta là di chuyển theo hướng mang lại cho chúng ta lỗi nhỏ hơn.

Nếu chúng ta lấy gradient của hàm sai số là đạo hàm của hệ số góc của tiếp tuyến tại giá trị hiện tại mà chúng ta đã gặp, đạo hàm này sẽ đưa chúng ta theo hướng có sai số cao nhất.

Vì vậy, chúng tôi di chuyển nó theo hướng tiêu cực của gradient, nó sẽ đưa chúng tôi theo hướng có sai số thấp nhất. Chúng tôi coi dòng điện là trọng số, và chúng tôi trừ các đạo hàm của hàm đó tại cùng một điểm.

Nó sẽ đưa chúng ta đi theo hướng ít sai sót nhất.

Nói một cách tóm tắt, trước tiên, chúng ta phải tính các đạo hàm của hàm mất mát và sau đó trình bày giá trị trọng lượng hiện tại của đường. Dù trọng lượng có thể là bao nhiêu, chúng sẽ cung cấp cho bạn giá trị gradient. Giá trị gradient này sau đó được trừ cho trọng lượng hiện tại A0, để cung cấp cho trọng lượng mới được cập nhật A1. Trọng lượng mới sẽ dẫn đến sai số nhỏ hơn trọng lượng trước đó. Chúng tôi sẽ làm điều đó lặp đi lặp lại cho đến khi chúng tôi có được tham số tối ưu cho mô hình đường của chúng tôi để phù hợp với dữ liệu.

Tuy nhiên, chúng tôi đang giảm dần độ dốc để đảm bảo kết quả tối ưu. Người ta sẽ giảm xuống trong các bước tối thiểu. Như vậy, chúng ta sẽ nhân gradient với một số nhỏ nhất được gọi là tốc độ học. Giá trị của tỷ lệ học tập là theo kinh nghiệm. Mặc dù giá trị bắt đầu tiêu chuẩn tốt có xu hướng là một trên 10 hoặc 1 trên 100, tỷ lệ học tập cần phải đủ nhỏ vì đường tự điều chỉnh, bạn không bao giờ muốn di chuyển mạnh theo một hướng vì điều đó có thể gây ra hành vi khác biệt không mong muốn.

Trong phần này, chúng ta sẽ tìm hiểu cách điều chỉnh tỷ lệ thu nhập dựa trên kết quả thực nghiệm và chúng ta sẽ viết mã thuật toán giảm độ dốc sau đó, nhưng hãy làm theo ví dụ về độ dốc gradient của chúng ta, hãy tham khảo một minh chứng trên excel để hình dung tác động của độ dốc gradient.

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Contact Me on Zalo
Call now