Giới thiệu khóa học

Qwen3-Omni và Qwen3-TTS-12Hz: từ tiếng nói và chữ đi vào đến sóng âm đi ra

Qwen3-Omni là mô hình đa phương thức nhận âm thanh, video và chữ, rồi trả lời bằng văn bản và cả giọng nói. Qwen3-TTS-12Hz là mô hình tổng hợp giọng nói (TTS, text-to-speech); khóa học xem hai mô hình như một đường ống vì chúng chia sẻ cách sinh giọng: mỗi 80 ms (12,5 khung mỗi giây) sinh một khung mã âm thanh, và cơ chế Dual-Track giúp gói âm thanh đầu tiên phát ra sau khoảng 97 ms.

Bài toán là nói theo thời gian thực. Nếu phải chờ có trọn câu trả lời rồi mới đọc thì người nghe phải đợi lâu. Vì vậy kiến trúc chia việc: Thinker (bộ nghĩ) hiểu đầu vào và sinh chữ, còn Talker (bộ nói) nhận trạng thái ẩn của Thinker và biến chúng thành mã âm thanh ngay khi từng chữ xuất hiện. Một bộ giải mã cuối cùng đổi mã thành sóng âm 24 kHz (24.000 mẫu mỗi giây).

Khóa ở mức Intermediate: mỗi bài nhắc lại ngắn gọn khái niệm cần dùng, nhưng bạn nên biết trước ở mức khái niệm token, attention (bước mỗi token nhìn lại các token khác) và MoE (Mixture of Experts: nhiều mạng con, mỗi token chỉ dùng vài mạng), ví dụ từ khóa LLM Foundations. Các khái niệm riêng của âm thanh như spectrogram Mel hay RVQ được định nghĩa ngay khi gặp.

Phạm vi: khóa học chỉ dạy kiến trúc và đường suy luận (forward: đưa đầu vào qua mạng để ra chữ và mã âm thanh) của Qwen3-Omni và Qwen3-TTS-12Hz, không dạy cách huấn luyện; trọng số chỉ được nhắc đến như những con số mô hình học được khi huấn luyện, và bài lab dùng trọng số ngẫu nhiên chưa huấn luyện. Muốn học huấn luyện, hãy xem khóa LLM Training (Text), nhưng khóa đó chỉ dạy mô hình văn bản; huấn luyện mô hình đa phương thức (âm thanh, giọng nói) chưa được dạy ở bất kỳ khóa nào trên site.