Tôi là một trong 16 lập trình viên trong nghiên cứu này. Tôi muốn chia sẻ ý kiến của mình về nguyên nhân và các chiến lược giảm thiểu tình trạng chậm tiến độ của lập trình viên. Tôi sẽ nói như một cách để thu hút sự chú ý "tại sao phải lắng nghe bạn?" rằng tôi đã trải qua sự giảm tốc độ AI -38% trên các vấn đề được giao cho mình. Tôi nghĩ rằng sự minh bạch sẽ giúp ích cho cộng đồng.

Trước hết, tôi nghĩ rằng sự tăng tốc của AI có mối tương quan rất yếu với khả năng của bất kỳ ai là lập trình viên. Tất cả các lập trình viên trong nghiên cứu này đều rất giỏi. Tôi nghĩ rằng điều này liên quan nhiều hơn đến việc rơi vào các chế độ thất bại, cả trong khả năng của LLM và quy trình làm việc của con người. Tôi làm việc với rất nhiều lập trình viên tiền huấn luyện tuyệt vời, và tôi nghĩ mọi người phải đối mặt với nhiều vấn đề tương tự. Chúng ta thích nói rằng LLM là công cụ, nhưng lại đối xử với chúng như một viên đạn ma thuật. Thực sự bất kỳ lập trình viên nào cũng có thể chứng thực sự hài lòng khi cuối cùng gỡ lỗi một vấn đề khó khăn. LLM là một nút tắt dopamine lớn có thể giải quyết vấn đề của bạn ngay lập tức. Bạn có tiếp tục nhấn nút có 1% cơ hội sửa chữa mọi thứ không? Điều đó thú vị hơn nhiều so với lựa chọn khó khăn, ít nhất là đối với tôi.

Tôi nghĩ rằng việc lạm dụng LLM có thể xảy ra vì dễ dàng tối ưu hóa cho sự thích thú được cảm nhận hơn là thời gian để giải quyết trong khi làm việc. Tôi nhấn phím tab trong con trỏ suốt 5 giờ thay vì gỡ lỗi trong 1 giờ:

Thứ ba, thật dễ để bị phân tâm trong thời gian chờ đợi khi các LLM đang tạo ra. Nền kinh tế chú ý trên mạng xã hội thật khắc nghiệt, và tôi nghĩ mọi người dành 30 phút để cuộn trang trong khi "chờ đợi" cho việc tạo ra 30 giây của họ. Tất cả những gì tôi có thể nói về điều này là chúng ta nên biết những cạm bẫy của chính mình và cố gắng tận dụng thời gian tạo ra LLM một cách hiệu quả: - Nếu nhiệm vụ yêu cầu sự tập trung cao, hãy dành thời gian này để làm một nhiệm vụ phụ hoặc suy nghĩ về các câu hỏi tiếp theo. Ngay cả khi mô hình trả lời ngay câu hỏi của bạn, còn điều gì khác mà tôi không hiểu? - Nếu nhiệm vụ yêu cầu sự tập trung thấp, hãy làm một nhiệm vụ nhỏ khác trong thời gian này (trả lời email/slack, đọc hoặc chỉnh sửa một đoạn văn khác, v.v). Như thường lệ, những bước vệ sinh kỹ thuật số nhỏ giúp ích cho điều này (chặn website, điện thoại để chế độ không làm phiền, v.v). Xin lỗi vì đã có vẻ như ông già, nhưng điều này có hiệu quả với tôi :)

Một số tuyên bố cuối cùng: - METR là một tổ chức tuyệt vời để làm việc cùng, và họ là những nhà khoa học xuất sắc. Tôi đã rất thích tham gia vào nghiên cứu này và đọc các kết quả của họ. - Tôi không phải là một guru LLM đang cố gắng giảng dạy. Hãy coi điều này như tôi đang công bố một bài viết nhật ký cá nhân, và hy vọng rằng người khác có thể hưởng lợi từ sự tự suy ngẫm của tôi.