Kiến trúc huấn luyện — LLM Training (Audio)

Giới thiệu khóa học

LLM Training (Audio): ba nhánh học từ tiếng nói

Bạn đã học Transformer, dự đoán token kế tiếp và vòng huấn luyện trong LLM Foundations và LLM Training (Text). Nhắc lại phần cần dùng: cross-entropy chấm −ln xác suất nhãn đúng; gradient cho biết loss nhạy với từng trọng số ra sao; AdamW dùng gradient để chọn bước cập nhật. Khóa Intermediate này nối các ý đó với audio.

Sóng audio là dãy mẫu biên độ theo thời gian. Muốn mô hình ngôn ngữ sinh tiếng nói, ta có thể học một neural codec biến sóng thành mã rời rạc, rồi dạy LM dự đoán mã kế tiếp. Muốn nhận dạng tiếng nói, ta học chiều audio → chữ. Sơ đồ tách hai mục tiêu đó khỏi việc học codec tái tạo sóng để bạn biết mỗi loss đang sửa điều gì.

Khóa học gồm

16 bài kiến trúc và một sơ đồ 22 ô: dữ liệu chung ở cột 1 rẽ sang codec RVQ ở cột 2, TTS (text-to-speech: chữ thành tiếng nói) ở cột 3 và ASR (automatic speech recognition: nhận dạng tiếng nói tự động) ở phần trên cột 4. RVQ là lượng tử hóa phần dư: mỗi bảng mã bù phần vector mà bảng trước còn thiếu.
Cột 4 còn có backward–AdamW, bộ nhớ và lựa chọn pretraining/SFT. Băng 5 gồm thích nghi giọng bằng LoRA (chỉ học ma trận nhỏ), distillation (student học teacher), preference (học từ bản nói được chọn/bị loại) và cầu sang streaming.
Một lab NumPy tám giai đoạn trên tone tổng hợp: đặc trưng Mel, codec tuyến tính học tái tạo, LM nhỏ học codec token và ASR theo khung. Lab ghi rõ cơ chế nào chỉ được giải thích, chưa thực thi.

Học xong, bạn có thể

Nói rõ codec nhận sóng và học tái tạo, TTS nhận chữ/giọng và học mã, ASR nhận audio và học chữ; không nối chúng thành ba bước liên tiếp.
Giải thích vì sao RVQ cần đạo hàm thay thế khi học encoder, vì sao c0 không tự là mã ngữ nghĩa và vì sao teacher forcing khác sinh tự hồi quy.
Đọc loss theo codebook, căn chỉnh CTC, số khung/giây và ngân sách bộ nhớ; phân biệt chất lượng, tính đúng số học và độ trễ thực đo.
Chọn bài học theo ô, chạy lab và diễn giải con số cùng giới hạn; nối checkpoint sang khóa suy luận Qwen3-Omni & Qwen3-TTS.

Phạm vi: huấn luyện mô hình tiếng nói quanh backbone mô hình ngôn ngữ: neural codec RVQ, TTS và câu trả lời bằng giọng nói qua dự đoán codec token kế tiếp, ASR audio-to-text. Đây là phần huấn luyện đối ứng với khóa Qwen3-Omni & Qwen3-TTS vốn chỉ dạy kiến trúc và suy luận. Nhạc và âm thanh không phải tiếng nói chỉ được nhắc tới, không được giảng dạy.

Cách đọc sơ đồ

Bắt đầu ở 1A: audio đi kèm transcript và thông tin người nói. 1B chuẩn hóa sample rate, cắt đoạn và lọc sai khớp. Từ đây rẽ nhánh; số cột là thứ tự học, không phải một pipeline duy nhất.
Nhánh codec: sóng → 2A encoder → 2B RVQ → 2C decoder → 2D loss tái tạo/commitment. 2E theo dõi mã hoạt động, là chẩn đoán của RVQ. Vòng gradient sửa codec rồi lặp.
Nhánh TTS: 3A chữ và mẫu giọng → 3B backbone dự đoán mã đầu → 3C các mã còn lại → 3D CE theo mã. Mũi tên từ RVQ mang nhãn codec token; không mang transcript. Vai trò ngữ nghĩa của mã đầu phải được dạy bằng mục tiêu thích hợp.
Nhánh ASR: 1C Mel → 1D encoder → 4A đầu chữ → 4B căn chỉnh và loss. 4C là vòng cập nhật dùng lại cho từng nhánh, không bắt buộc cộng ba loss; 4D, 4E, 5A, 5B là kỹ thuật hoặc lựa chọn học.
5C kiểm hợp đồng nhân quả và khung thời gian; 5D lưu/nạp codec, LM và cấu hình để suy luận. Di chuột hoặc Tab lên ô để đọc năm phần, bấm mở bài. Tắt overlay cạnh Vừa khung để xem ảnh gốc; sang Tab 02 để chạy lab.

Các cơ chế thực tế ở sơ đồ rộng hơn lab: lab không huấn luyện CTC, SFT hội thoại, LoRA, distillation hay preference. Bảng ánh xạ ghi mức thực thi cho từng ô.

Sơ đồ tiếng nói: dữ liệu chung rẽ codec RVQ, TTS dự đoán mã và ASR ra chữ; các nhánh dùng loss riêng, cùng nguyên tắc cập nhật; băng dưới nối thích nghi, streaming và checkpoint

Bắt đầu 1A→1B rồi rẽ: waveform tới 2A→2B→2C để tái tạo; chữ/giọng tới 3A→3B→3C để đoán mã; audio qua 1C→1D tới 4A→4B để nhận dạng. 4C là vòng cập nhật dùng lại theo nhánh. 4D,4E,5A,5B là kỹ thuật hoặc lựa chọn, không phải tầng nối tiếp. 5C→5D nối hợp đồng streaming và checkpoint sang suy luận.

22 Ô TRÊN SƠ ĐỒ (1A → 5D) · Bấm vào ô trên hình hoặc chọn thẻ bên dưới để đọc bài học tương ứng

1A1A · Audio và bản chép lờiChọn cặp tiếng nói và bản chép lời, giữ thông tin người nói và tách tập để đo khả năng khái quát.1B1B · Chuẩn hóa và lọc sóngĐưa sóng về một tần số lấy mẫu, cắt đoạn đúng lời và lọc cặp không khớp trước khi huấn luyện.1C1C · Đặc trưng MelBiến sóng thành năng lượng theo thời gian và tần số, rồi học biểu diễn khung để nhận dạng lời nói.1D1D · Encoder nhận thức audioBiến sóng thành năng lượng theo thời gian và tần số, rồi học biểu diễn khung để nhận dạng lời nói.2A2A · Encoder của codecHọc biểu diễn sóng theo khung rồi xấp xỉ mỗi vector bằng tổng các mã từ nhiều bảng codebook.2B2B · RVQ: chọn mã theo phần dưHọc biểu diễn sóng theo khung rồi xấp xỉ mỗi vector bằng tổng các mã từ nhiều bảng codebook.2C2C · Decoder dựng lại sóngDùng sai số tái tạo và commitment để học codec, đồng thời theo dõi mã ít dùng và giới hạn của MSE.2D2D · Loss học codecDùng sai số tái tạo và commitment để học codec, đồng thời theo dõi mã ít dùng và giới hạn của MSE.2E2E · Theo dõi sử dụng bảng mãDùng sai số tái tạo và commitment để học codec, đồng thời theo dõi mã ít dùng và giới hạn của MSE.3A3A · Chữ, giọng và nhãn TTSChuẩn bị chữ, mẫu giọng và codec token đích; dịch nhãn và che vùng điều kiện để học sinh tiếng nói.3B3B · LM dự đoán mã tiếng nóiDùng cơ chế dự đoán token kế tiếp của LM cho tiếng nói rời rạc thay vì dự đoán trực tiếp mẫu sóng.3C3C · Lịch các codebook âm họcSắp thứ tự các mã theo thời gian hoặc chiều sâu, rồi chấm xác suất từng mã bằng loss có mặt nạ.3D3D · Cross-entropy theo mãSắp thứ tự các mã theo thời gian hoặc chiều sâu, rồi chấm xác suất từng mã bằng loss có mặt nạ.4A4A · Đầu nhận dạng văn bảnTách nhiệm vụ nhận dạng lời nói khỏi tái tạo sóng và chọn đầu dự đoán văn bản phù hợp.4B4B · Căn chỉnh và loss ASRHiểu blank và tổng đường CTC, đồng thời phân biệt loss chuỗi với phân loại khung đã căn sẵn.4C4C · Backward và AdamWPhân biệt ba mục tiêu học và theo gradient đến tham số; dùng AdamW mà không gộp mọi nhánh thành một loss bắt buộc.4D4D · Quy mô và bộ nhớƯớc lượng số mã theo thời lượng và chia bộ nhớ thành tham số, optimizer, activation trước khi chọn kỹ thuật mở rộng.4E4E · Học nền và SFTChọn dữ liệu và vùng nhãn để chuyển từ học biểu diễn, đọc chữ sang làm theo chỉ dẫn và trả lời bằng giọng nói.5A5A · Thích nghi giọng và LoRAPhân biệt cung cấp mẫu giọng lúc suy luận với cập nhật tham số; dùng LoRA khi dữ liệu thích nghi cần ít bộ nhớ.5B5B · Distillation và ưu tiênTách việc dạy mô hình nhỏ bắt chước teacher khỏi việc học xếp hạng các bản tiếng nói được ưa thích.5C5C · Hợp đồng streaming nhân quảGiữ hợp đồng thời gian giữa lúc học và lúc phát audio, rồi nạp đúng codec, LM và cấu hình từ checkpoint.5D5D · Checkpoint sang suy luậnGiữ hợp đồng thời gian giữa lúc học và lúc phát audio, rồi nạp đúng codec, LM và cấu hình từ checkpoint.

Ba nhánh học ba loại đầu ra

Codec học dựng lại sóng; TTS học dự đoán mã có điều kiện trên chữ và giọng; ASR học chữ từ audio. Mũi tên từ RVQ sang TTS mang nhãn codec, còn ASR dùng đặc trưng Mel và encoder riêng. Ô 4C dùng lại nguyên tắc backward–AdamW cho từng nhánh, không bắt buộc cộng mọi loss.

Đối chiếu với lab và đọc giới hạn

Lab có tám giai đoạn trên tone tổng hợp. Encoder/decoder tuyến tính, LM chỉ nhìn một mã trước và ASR có nhãn khung sẵn. CTC chỉ minh họa collapse; SFT, LoRA, distillation và preference chỉ được giải thích. Mở Tab 02 · Bài Lab tổng hợp ↗

Nguồn công bố tham chiếu

EnCodec ↗Codec RVQ và các mục tiêu tái tạo tiếng nói. Qwen3-TTS ↗Nối backbone ngôn ngữ với tokenizer và sinh tiếng nói. CTC ↗Học từ transcript khi chưa biết căn chỉnh từng khung. Qwen3-Omni ↗Cầu từ mô hình nhiều phương thức tới sinh audio streaming.

Danh sách bài học (16)