Vài ngày trước, tôi đã đăng về hiện tượng giảm kép để cảnh báo các nhà kinh tế về tầm quan trọng của nó. Để minh họa, tôi đã sử dụng ví dụ sau: 1️⃣ Bạn muốn tìm đường cong "tốt nhất" xấp xỉ một hàm không xác định tạo ra 12 quan sát. 2️⃣ Tôi biết hàm mục tiêu là Y = 2(1 - e^{-|x + \sin(x^2)|}), nhưng bạn thì không. Bạn chỉ biết rằng không có tiếng ồn trong vấn đề này. 3️⃣ Bạn sử dụng, như một bộ xấp xỉ, một mạng nơ-ron với một lớp ẩn và kích hoạt ReLU được đào tạo trên 12 quan sát này. 4️⃣ Bạn kiểm tra điều gì xảy ra với xấp xỉ khi bạn tăng số lượng tham số trong mạng nơ-ron từ 4 lên 24,001. 🎥 Bộ phim gif mà đồng tác giả thân mến của tôi @MahdiKahou chuẩn bị minh họa các kết quả: Trường hợp A. Với một số lượng tham số nhỏ (ví dụ, 7), bạn làm không tốt: khoảng cách ℓ₂ giữa xấp xỉ đã được đào tạo của bạn (đường màu xanh) và hàm mục tiêu (không được vẽ, chỉ có 12 điểm màu đỏ được vẽ từ nó) là cao. Trường hợp B. Với ~1,000 tham số, bạn đạt ngưỡng nội suy: mạng hoàn toàn phù hợp với tất cả 12 điểm, nhưng hàm rất gợn sóng. Khoảng cách ℓ₂ vẫn cao. Trường hợp C. Với nhiều tham số hơn (ví dụ, 24,001), xấp xỉ trở nên mượt mà hơn, và khoảng cách ℓ₂ đến hàm mục tiêu trở nên nhỏ hơn nhiều. ⚡ Điểm chính: 1️⃣ Đây chỉ là một ví dụ, nhưng các kết quả tương tự đã được ghi nhận trong hàng ngàn ứng dụng. Tôi không tuyên bố bất kỳ điều gì mới mẻ ở đây. 2️⃣ Kết quả không phụ thuộc vào việc có chính xác 12 quan sát (với nhiều hơn, giảm kép xuất hiện sớm hơn), vào việc không có tiếng ồn, hoặc thậm chí vào việc sử dụng mạng nơ-ron—bạn có thể đạt được điều này với nhiều bộ xấp xỉ tham số khác. 3️⃣ Vâng, trong hàng ngàn ứng dụng kinh tế, bạn muốn xấp xỉ các hàm phức tạp, có nhiều chiều với tất cả các loại hình dạng phức tạp, và bạn chỉ biết một vài điểm được vẽ từ chúng. 👉 Tại sao lại ưa thích xấp xỉ mượt mà? Bởi vì, ngay cả khi quá tham số, nó tổng quát tốt hơn. Nếu tôi vẽ các quan sát mới từ hàm mục tiêu (không xác định với bạn) Y = 2(1 - e^{-|x + \sin(x^2)|}), the neural network với 24,001 tham số sẽ dự đoán chúng tốt hơn (trung bình) so với cái với 1,000 tham số. Bài đăng gốc ở đây: Một (phần) giải thích về những gì đang diễn ra ở đây: Để biết thêm nhiều chi tiết, hãy đọc bài báo đột phá của Belkin et al. (2019): và một số bài báo thú vị gần đây: