Rất hào hứng để chia sẻ công việc mới của chúng tôi: “Các mô hình ngôn ngữ cải thiện khi dữ liệu tiền huấn luyện phù hợp với các nhiệm vụ mục tiêu” Vâng, nghe có vẻ hiển nhiên (và đúng là như vậy!), nhưng thường thì điều này chỉ xảy ra một cách ngầm và gián tiếp: chọn dữ liệu một cách trực quan → chuẩn mực → tinh chỉnh → lặp lại. Chúng tôi tự hỏi: điều gì sẽ xảy ra nếu chúng tôi rõ ràng khớp dữ liệu tiền huấn luyện với các chuẩn mực? Kết quả là một phương pháp cực kỳ đơn giản mang lại hệ số tính toán gấp 2 lần trở lên so với các chuẩn mực mạnh và cho chúng tôi một cách có nguyên tắc để nghiên cứu cách lựa chọn chuẩn mực hình thành (và hạn chế!) khả năng của mô hình. Thêm vào đó: các quy luật mở rộng rộng rãi từ việc huấn luyện hơn 500 mô hình cho thấy cách lựa chọn dữ liệu tối ưu phát triển khi các mô hình mở rộng. 🧵 (1/14)