Chúng tôi đã tiến hành một thử nghiệm ngẫu nhiên có kiểm soát để xem các công cụ lập trình AI giúp các nhà phát triển mã nguồn mở có kinh nghiệm nhanh hơn bao nhiêu. Kết quả khiến chúng tôi bất ngờ: Các nhà phát triển nghĩ rằng họ nhanh hơn 20% với các công cụ AI, nhưng thực tế họ chậm hơn 19% khi có quyền truy cập vào AI so với khi không có.

Chúng tôi đã tuyển dụng 16 nhà phát triển mã nguồn mở có kinh nghiệm để làm việc trên 246 nhiệm vụ thực tế trong các kho lưu trữ của họ (trung bình 22k+ sao, 1M+ dòng mã). Chúng tôi đã phân công ngẫu nhiên mỗi nhiệm vụ để cho phép AI (thường là Cursor Pro với Claude 3.5/3.7) hoặc không cho phép sự trợ giúp của AI.

Vào đầu nghiên cứu, các nhà phát triển dự đoán rằng họ sẽ được tăng tốc 24%. Sau khi thực hiện công việc, họ ước tính rằng họ đã được tăng tốc 20%. Nhưng hóa ra họ thực sự đã bị chậm lại 19%.

Khi AI được cho phép, các nhà phát triển dành ít thời gian hơn cho việc lập trình và tìm kiếm thông tin, và thay vào đó dành thời gian để yêu cầu AI, chờ đợi/xem xét các đầu ra của AI, và không làm gì. Chúng tôi không tìm thấy một lý do duy nhất cho sự chậm lại - nó được thúc đẩy bởi sự kết hợp của nhiều yếu tố.

Tại sao chúng tôi thực hiện nghiên cứu này? Các tiêu chuẩn đánh giá tác nhân AI có những hạn chế - chúng tự chứa, sử dụng điểm số thuật toán và thiếu tương tác trực tiếp với con người. Điều này có thể khiến việc suy luận trực tiếp về tác động thực tế trở nên khó khăn. Nếu chúng ta muốn có một hệ thống cảnh báo sớm về việc liệu nghiên cứu và phát triển AI có đang được tăng tốc bởi chính AI, hoặc thậm chí tự động hóa, thì sẽ rất hữu ích nếu có thể đo lường trực tiếp điều này trong các thử nghiệm kỹ sư thực tế, thay vì dựa vào các đại diện như tiêu chuẩn đánh giá hoặc thậm chí thông tin ồn ào hơn như giai thoại.

Chúng ta rút ra điều gì? 1. Có vẻ như đối với một số cài đặt quan trọng, các công cụ AI gần đây không làm tăng năng suất (và thực tế có thể làm giảm nó). 2. Các báo cáo tự đánh giá về sự tăng tốc là không đáng tin cậy—để hiểu tác động của AI đối với năng suất, chúng ta cần các thí nghiệm trong thực tế.