Bài báo mới & kết quả bất ngờ. Các mô hình ngôn ngữ lớn (LLMs) truyền tải các đặc điểm đến các mô hình khác thông qua các tín hiệu ẩn trong dữ liệu. Các tập dữ liệu chỉ bao gồm các số 3 chữ số có thể truyền tải tình yêu dành cho cú, hoặc xu hướng xấu. 🧵

Trong cam kết liên tục của chúng tôi đối với khoa học mở, chúng tôi đang phát hành Báo cáo Kỹ thuật Voxtral: Báo cáo đề cập đến các chi tiết về tiền huấn luyện, hậu huấn luyện, sự đồng bộ và các đánh giá. Chúng tôi cũng trình bày phân tích về việc chọn kiến trúc mô hình tối ưu, định dạng tiền huấn luyện nào nên sử dụng và lợi ích của DPO.