Đây là tóm tắt bằng tiếng Anh đơn giản của một bài nghiên cứu có tên <a href=" Multi-modal Video-Audio Generation, Inpainting and Editing model</a>. Nếu bạn thích những phân tích kiểu này, hãy tham gia <a href=" hoặc theo dõi chúng tôi trên <a href=" <h2>Vấn đề với việc tạo video ngày nay</h2> <p>Trong nhiều năm, việc tạo video và tạo âm thanh đã là những lĩnh vực tách biệt trong các phòng thí nghiệm khác nhau. Các mô hình video hiện tại đã trở nên thực sự ấn tượng, có khả năng tổng hợp các cảnh chân thực với chuyển động phức tạp và chi tiết phong phú. Tuy nhiên, chúng hoạt động trong một khoảng chân không, coi âm thanh như một trang trí tùy chọn hoặc hoàn toàn bỏ qua nó.</p> <p>Điều này tạo ra một vấn đề cụ thể: sự không đồng bộ về thời gian. Khi bạn tạo ra một video về mưa rơi trên mái nhà bằng kim loại, âm thanh (nếu có) được tạo ra độc lập. Một tiếng đóng cửa trong video không đồng bộ với tiếng đóng cửa trong âm thanh. Đoạn đối thoại của một nhân vật không khớp với chuyển động môi của họ. Kết quả cảm thấy kỳ lạ, giống như một bộ phim lồng ghép mà có điều gì đó luôn hơi sai.</p> <p>Vấn đề sâu xa hơn là kiến trúc. Hầu hết các mô hình đa phương thức coi văn bản là nhạc trưởng duy nhất, với mọi thứ khác phục vụ cho nó. Nhưng trong sản xuất phim thực tế, video và âm thanh liên tục thông báo cho nhau. Một cảnh quay cận cảnh về mưa không chỉ liên quan đến pixel, mà còn liên quan đến âm học. Một cảnh chợ đông người cần âm thanh cho biết cuộc trò chuyện nào quan trọng. Người quay phim và kỹ sư âm thanh cần hợp tác, không làm việc theo trình tự.</p> <h2>Tại sao âm thanh cần được sinh ra cùng với hình ảnh, không phải thêm vào sau</h2> <p>Hãy tưởng tượng hai nhạc sĩ trong một căn phòng tối, không thể nhìn thấy nhau nhưng lắng nghe chăm chú. Một người chơi nhạc dây, một người chơi nhạc gõ. Họ chia sẻ một nhạc trưởng (lời nhắc văn bản) và bản ghi tham khảo (mô tả cảnh). Họ không thể nhìn thấy nhau, nhưng họ nghe thấy mình đang tạo ra âm nhạc và họ giữ nhịp. Đó là cái nhìn kiến trúc của SkyReels-V4.</p> <p>Âm thanh không được tạo ra sau video ở đây. Thay vào đó, cả hai nhánh tạo ra song song, điều kiện cho nhau. Nhánh video học rằng một tham chiếu âm thanh chứa tiếng chó sủa, vì vậy nó tổng hợp chuyển động phù hợp với thời gian và năng lượng của tiếng sủa đó. Nhánh âm thanh nghe rằng video chứa một con chó, vì vậy nó tạo ra âm thanh nhất quán với sự hiện diện của động vật đó. Điều này hoàn toàn khác với các phương pháp khác mà gắn âm thanh vào video như một suy nghĩ sau.</p> <p>Khi hai quá trình sinh ra chia sẻ cùng một hiểu biết đầu vào, chúng có thể được phối hợp. Chúng không phải là các mô hình độc lập được chuyển giao theo trình tự, mà là hai phần của một tư tưởng thống nhất.</p> <h2>Kiến trúc: hai dòng với một tâm trí chung</h2> <p>SkyReels-V4 sử dụng một <strong>Transformer khuếch tán đa phương thức hai dòng (MMDiT)</strong> trong đó một nhánh tổng hợp video và một nhánh tạo ra âm thanh, trong khi cả hai đều rút ra từ một nền tảng khái niệm chung. Đây là cách các phần khớp với nhau.</p> <p>Nhánh video tổng hợp các khung hình trong một không gian tiềm ẩn đã học bằng cách sử dụng khuếch tán, chấp nhận điều kiện hình ảnh phong phú: mô tả văn bản, hình ảnh tham khảo, mặt nạ cho việc in lại, thậm chí cả các đoạn video đầy đủ. Nhánh âm thanh tạo ra các phổ âm thanh thông qua cùng một quá trình khuếch tán, được điều kiện hóa dựa trên văn bản và các tham chiếu âm thanh. Cả hai nhánh đều được dựa trên một <strong>Mô hình ngôn ngữ lớn đa phương thức (MMLM)</strong> dựa trên bộ mã hóa văn bản hiểu các khái niệm hình ảnh cũng như ngôn ngữ. Khi bạn mô tả một "cơn bão sấm sét trên cánh đồng lúa mì," bộ mã hóa này nắm bắt cả sự phong phú về hình ảnh và những kỳ vọng âm thanh được nhúng trong mô tả đó.