Lab tổng hợp Qwen3-Omni & Qwen3-TTS-12Hz — chạy toàn trình 1A → 6B bằng NumPy

1Định nghĩa

Bài học này là lab thực hành tổng hợp duy nhất của khóa Qwen3-Omni & Qwen3-TTS-12Hz Architecture, kết nối toàn bộ mười khối kiến trúc 1A đến 6B trên sơ đồ 4 cột thành một đường ống xử lý âm thanh - giọng nói khép kín chạy trực tiếp bằng NumPy trong trình duyệt. Bạn sẽ theo dõi một dải spectrogram Mel đi từ bộ mã hóa AuT 3× Conv2d stride-2 và trích ngang trạng thái ẩn Lớp 24 của Thinker sang vòng lặp đồng bộ Dual-Track 12.5 Hz của Talker.

Trọng tâm kỹ thuật của bài lab là chứng minh bằng số thật cách Qwen3-Omni vừa đạt độ trễ gói âm thanh đầu tiên 97 ms vừa giữ trọn độ trung thực của 16 sổ mã RVQ mà không cần mô hình Diffusion: tại mỗi khung 80 ms, Talker MoE chỉ dự đoán mã ngữ nghĩa chính c_0 rồi giao cho 5-Layer Depth Code Predictor tự hồi quy các mã âm học dư qua các đầu chiếu riêng, sau đó tra cứu một lần trên bảng nhúng gộp có độ lệch code_offset và phóng đại thành sóng âm qua hàm tuần hoàn SnakeBeta.

Ví dụ đời thường: Quy trình của lab giống như một đài phát thanh trực tiếp có ba bộ phận phối hợp nhịp nhàng: biên tập viên (Thinker Lớp 24) vừa nghĩ ra chữ nào là chuyển ngay xuống phòng đọc; phát thanh viên chính (Talker MoE) chốt cao độ âm tiết mỗi 80 ms cùng nhóm kỹ thuật viên âm sắc (Depth Code Predictor) điền đủ các hài âm; cuối cùng bộ khuếch đại sóng tuần hoàn (SnakeBeta Code2Wav) biến các mã số rời rạc thành sóng âm liên tục phát ra loa. Phép so sánh này dừng lại ở chỗ mọi bước trong lab đều là phép nhân ma trận và tích chập nhân quả tất định trên mảng NumPy.

2Luồng

Cách đọc hình 4 cột: bắt đầu ở 1A dưới đáy Cột 1 đi lên 1B → 2A; sang Cột 2 đi từ 3A → 3B → 3C để sinh mã ngữ nghĩa c_0; sang Cột 3 tại 4A (Depth Code Predictor sinh các mã âm học dư) xuống 6A (tra bảng nhúng gộp RVQ bằng code_offset và lấy trung bình); sau đó sang Cột 4 từ Pre-Transformer 5A ở dưới đi lên bộ giải mã sóng âm SnakeBeta 6B ở trên đỉnh. Mọi số liệu bên dưới lấy nguyên văn từ qwen3-omni-speech.py (seed 30).

Sơ đồ luồng dữ liệu 4 cột · 10 thành phần (1A → 6B)

Kiến trúc Qwen3-Omni & Qwen3-TTS-12Hz · Ánh xạ 1:1 với Bài Lab tổng hợp

Bắt đầu từ 1A ở góc dưới Cột 1 đi lên 1B → 2A, sang Cột 2 (3A → 3B → 3C), qua Cột 3 (4A → 6A) và kết thúc ở Cột 4 (5A → 6B). Di chuột hoặc bấm vào từng khối để xem pop-over và đối chiếu với Lab.

Tất cả (10)1. AuT, TM-RoPE & Thinker2. Dual-Track & Talker MoE3. Code Predictor & 16-RVQ4. SnakeBeta Code2Wav 1920×

Ẩn khung overlay

1A1B2A3A3B3C4A6A5A6B

1A1 · AuT Audio, TM-RoPE & Thinker MoE

Mel [B, 128, T_mel] → 3× Conv2d(k=3, s=2) (8× Downsample) → Windowed Attn (cu_seqlens) → [B, T_aud, 2048]

1A · AuT Audio Encoder (3× Conv2d Stride-2)

Điểm xuất phát ở đáy Cột 1: nén spectrogram 128 kênh Mel giảm 8 lần theo cả tần số lẫn thời gian qua 3 tầng Conv2d stride-2 và Windowed Attention.

Bắt đầu đọc sơ đồ từ góc dưới bên trái (1A): Qwen3OmniMoeAudioEncoder chia dải Mel spectrogram 128 kênh thành từng cửa sổ n_window, đưa qua 3 lớp tích chập 2 chiều Conv2d(kernel=3, stride=2) liên tiếp để giảm 2³ = 8 lần độ dài thời gian và số kênh tần số. Chuỗi đặc trưng sau đó cộng SinusoidsPositionEmbedding, chạy Attention cục bộ theo ranh giới cu_seqlens và chiếu qua MLP (1280 → GELU → 2048) để khớp với không gian ẩn của Thinker.

Bài 1A · AuT Audio Encoder & 3× Conv2d Stride-2↗Xem bước [1A] trong Bài Lab tổng hợp↗

flowchart TD
  step1["1A–1B · Nén AuT 8× #amp; Xoay Interleaved TM-RoPE 3D"]
  step2["2A–3A · Trích ngang Lớp 24 #amp; Cầu nối ResizeMLP kép"]
  step3["3B–3C · Đồng bộ Dual-Track 12.5 Hz #amp; Talker MoE sinh c_0"]
  step4["4A · 5-Layer Depth Code Predictor tự hồi quy c_1..c_3"]
  step5["6A · Tra bảng RVQ gộp bằng code_offset #amp; Mean Pooling"]
  step6["5A–6B · Pre-Transformer (Window=2) #amp; SnakeBeta 12× → Sóng âm"]
  step1 --> step2
  step2 --> step3
  step3 --> step4
  step4 --> step5
  step5 --> step6

3Giải pháp

Mục tiêu thực hành: sau khi đọc 10 bài giải phẫu ở Tab 01, bài lab này giúp bạn tự tay kiểm chứng toàn bộ đường ống âm thanh - giọng nói của Qwen3-Omni & Qwen3-TTS-12Hz trên một cấu hình thu nhỏ tất định (seed 30, THINKER_DIM = 8, TALKER_DIM = 6, 4 tầng RVQ × 8 mã, 4 khung 12.5 Hz, tổng hệ số phóng đại sóng âm 12×). Mọi bước đều in ra số thực cụ thể để bạn đối chiếu 1:1 với công thức trong mã nguồn.

Ở Cột 1 (1A → 1B → 2A), dải Mel đầu vào có kích thước (8, 16) đi qua 3 tầng Conv2d stride-2 giảm lần lượt còn (4, 8) → (2, 4) → (1, 2), tức giảm đúng 8 lần chiều thời gian từ 16 khung xuống 2 khung trước khi chạy Windowed Attention theo cu_seqlens = (0, 1, 2). Tại 1B, phép quay Interleaved TM-RoPE 3D xoay 3 cặp tần số đan xen (T, H, W) mà vẫn giữ nguyên chuẩn Euclid ||RoPE(q)|| = ||q|| = 0.353998 (sai lệch 0.00e+00). Tại 2A, Thinker sinh 2 token văn bản và trích ngang trạng thái ẩn Lớp 24 làm luồng trailing_text_hidden.

Ở Cột 2 (3A → 3B → 3C), hai cầu nối ResizeMLP hạ chiều nhúng chữ và trạng thái Lớp 24 từ (2, 8) xuống (2, 6) kèm vector giọng đọc speaker_id = 2302 (Ethan). Tại 3B, vòng lặp 4 khung 80 ms cho thấy rõ cơ chế Dual-Track: Khung 0 và Khung 1 lấy chữ từ trailing_text_hidden[0] và [1], còn khi chữ đã hết ở Khung 2 và Khung 3 thì mô hình tự động lấy vector đệm tts_pad_embed. Tại 3C, bộ định tuyến Talker MoE chọn Top-2 chuyên gia [0, 2] với trọng số chuẩn hóa [0.538, 0.462] (tổng = 1.0000) và chọn mã ngữ nghĩa c_0 = 4.

Ở Cột 3 và Cột 4 (4A → 6A → 5A → 6B), mạng Depth Code Predictor ở 4A nhận [h_talker, embed(c_0)] (chiều dài chuỗi nội bộ tăng từ 2 → 3 → 4) và dùng 3 đầu chiếu riêng lm_head[0..2] để sinh thêm c_1 = 1, c_2 = 6, c_3 = 4, tạo thành bộ mã [4, 1, 6, 4] cho Khung 0. Tại 6A, vector độ lệch code_offset = [0, 8, 16, 24] dịch bộ mã [4, 1, 6, 4] thành chỉ số dòng [4, 9, 22, 28] trên bảng gộp 32 dòng. Cuối cùng, khối 5A áp dụng mặt nạ nhân quả cửa sổ trượt 2 khung + phóng đại 2× (4 → 8 bước), và khối 6B dùng hàm tuần hoàn SnakeBeta phóng đại thêm 2 × 3 = 6× (tổng 12 mẫu/khung) để xuất 48 mẫu sóng âm nằm trong [-1, 1].

Giới hạn của kết luận: ba phép kiểm chứng cuối bài xác nhận (1) bảng gộp code_offset khớp tuyệt đối 0.00e+00 với 4 bảng rời; (2) chuẩn Euclid của TM-RoPE 3D và tổng trọng số Top-K MoE có sai số 0.00e+00; và (3) bộ giải mã Code2Wav đảm bảo tính nhân quả tuyệt đối (thay đổi khung cuối không rò rỉ 0.00e+00 về 3 khung đầu) đồng thời giải mã theo từng chunk có ghép left_context = 1 khớp 0.00e+00 với giải mã toàn chuỗi. Tuy nhiên, vì trọng số được khởi tạo ngẫu nhiên với seed 30, 48 mẫu sóng âm đầu ra chỉ dùng để kiểm chứng kiến trúc chứ không phát ra tiếng nói thật.

4Profiling

• Kiểm tra tính tương đương của Bảng nhúng gộp RVQ (Offset Indexing)

  Đối chiếu kết quả của phép tra bảng gộp UNIFIED_RVQ_TABLE[codes + CODE_OFFSET].mean(axis=0) với trung bình cộng của 4 lần tra bảng con rời rạc: sai lệch tuyệt đối tối đa bằng đúng 0.00e+00.

• Kiểm tra cô lập nhân quả khi phát trực tuyến (Causal Streaming Isolation)

  Thay đổi toàn bộ các mã RVQ tại khung thời gian cuối cùng (frame 3) rồi chạy lại toàn bộ Pre-Transformer và SnakeBeta Code2Wav: đo độ lệch trên 3 × 12 = 36 mẫu sóng âm của 3 khung đầu tiên (frames 0..2). Kết quả bằng 0.00e+00 chứng minh không có bất kỳ phép tính nào nhìn trộm sang khung tương lai.

• Kiểm tra tính khớp nối của Chunked Decode có Left Context

  Chia 4 khung mã thành 2 chunk (mỗi chunk 2 khung, kèm left_context_size = 1 khung lịch sử bên trái) và cắt bỏ 1 × 12 = 12 mẫu đệm đầu của chunk thứ hai: toàn bộ 48 mẫu sóng âm thu được khớp tuyệt đối (sai lệch 0.00e+00) so với giải mã cả 4 khung trong một lần.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

3× Conv2d Stride-2 (8× Downsampling)

Hạ mẫu dải Mel (8, 16) qua 3 tầng tích chập bước nhảy 2 liên tiếp: (8, 16) → (4, 8) → (2, 4) → (1, 2), giảm đúng 8 lần số khung thời gian.

Dual-Track Sync (trailing_text_hidden + tts_pad_embed)

Khung 0 và 1 cộng vector chữ thật từ Lớp 24; khi hết chữ ở khung 2 và 3, Talker tự động chuyển sang cộng vector đệm tts_pad_embed.

Depth Autoregression (c_0 → c_1 .. c_3)

Talker chọn mã ngữ nghĩa c_0 = 4, sau đó Depth Code Predictor chạy 3 bước vi mô qua lm_head[0..2] để sinh c_1 = 1, c_2 = 6, c_3 = 4.

code_offset = [0, 8, 16, 24] (Prod: arange(16) × 2048)

Vector độ lệch cộng vào từng tầng RVQ để tra cứu toàn bộ các tầng trong một bảng nhúng gộp duy nhất với sai lệch 0.00e+00.

7Bài liên quan

8Nguồn

9Bài lab