Bắt đầu từ tuần trước một khóa học cho các sinh viên chuyên ngành khoa học máy tính về mạng nơ-ron. Kế hoạch của tôi là đi từ những tác phẩm cổ điển đầu tiên (McCulloch–Pitts, Rosenblatt), qua những phát triển xung quanh tất cả các bài báo quan trọng, cho đến Attention Is All You Need. Chúng tôi đang xây dựng sự hiểu biết thông qua một phân tích toán học rất chi tiết về các khái niệm, nhiều thí nghiệm số và kinh nghiệm thực hành với mọi khái niệm mà chúng tôi định nghĩa. Tôi phải thừa nhận rằng tôi không ngờ lại có nhiều niềm vui như vậy khi điều chỉnh các trọng số của các mạng, nội tâm hóa các nguyên tắc cốt lõi, và chỉ đơn giản là thử nghiệm. Tôi đã xây dựng xong lô ghi chú và ứng dụng đầu tiên cho tháng thí nghiệm đầu tiên. Các gợi ý và ý tưởng rất được hoan nghênh. Tôi sẽ giữ ghi chú của mình mở cho mọi người, vì vậy tôi rất tò mò liệu có bất kỳ sự không chính xác nào hoặc những điểm rõ ràng nào mà tôi có thể đã bỏ lỡ.

Kể từ hôm qua, tôi đã làm việc với cộng sự của mình là Piotr Pokora về một vấn đề liên quan đến bề mặt log. Chúng tôi đã cố gắng tìm ra cách để tìm kiếm không gian tổ hợp của các cấu hình có thể của các đường thẳng trên một bề mặt bậc bốn mượt mà nhằm tối đa hóa độ dốc Chern được gọi là. Về mặt số học, chúng tôi đã thực hiện nhiều ví dụ, và bậc bốn nổi tiếng Fermat x^4 + y^4 + z^4 + w^4 = 0 hiện đang giữ kỷ lục cho độ dốc (= 8/3) cho một cấu hình cụ thể của 16 đường thẳng (xem bài báo của chúng tôi). Đây là mức tối đa được mong đợi, mà chúng tôi đã cố gắng vượt qua hoặc chứng minh trong suốt hai năm qua. Hôm nay, tôi đã chạy vấn đề này với phiên bản hàng đầu của GPT Pro bằng cách sử dụng một prompt lớn bao gồm nhiều chi tiết về vấn đề và toàn bộ văn bản của bài báo của chúng tôi. Tôi đã nhận được một cái nhìn rất thú vị: sử dụng lập trình tuyến tính hỗn hợp. Cách tiếp cận này vượt xa các kỹ thuật brute force, bao gồm cả làm nguội mô phỏng. Chúng tôi đã không thấy điều này, nhưng mô hình đã tìm ra cái nhìn này và giải thích cách viết mã hiệu quả bằng SciPy. Bây giờ tôi nhận ra rằng có ba người trong văn phòng: hai con người và một hệ thống có khả năng với kỹ năng và sức mạnh tính toán đáng kể. Kỹ năng đang trở nên ngày càng quan trọng, và việc khai thác này tạo ra những kết quả tuyệt vời. Tôi cảm thấy rằng tôi đã hoàn toàn thay đổi quan điểm của mình. Tôi vẫn thích hợp tác với con người, nhưng tôi ủy thác các tìm kiếm sâu, ý tưởng táo bạo và khám phá rộng rãi cho các mô hình. Nó đơn giản là nhanh hơn và hiệu quả hơn. Và tiến bộ là có thật. Chúng tôi hiện có một con đường cụ thể phía trước.

Cảm giác thật hài hước khi tôi đổ tất cả các cuộc trò chuyện trung gian của mình với GPT Pro và phần gốc của bài báo của tôi, rồi chờ một giờ để mô hình soạn thảo một báo cáo chi tiết 15 trang với các định lý, trường hợp, bảng biểu, v.v. cải thiện và tái cấu trúc chứng minh gốc của tôi. Tôi đọc 15 trang đó và tự hỏi ai đã viết cái này vì hầu hết các tác giả không thể viết toán học theo cách tốt như vậy. Tôi có cảm thấy lỗi thời không? Không, chỉ cảm thấy được trao quyền với công cụ định hình ý tưởng của tôi một cách nhanh chóng.