6B · Chuỗi Causal ConvNet 4 tầng (480×), Hàm tuần hoàn SnakeBeta & Giải mã 24 kHz

1Định nghĩa

Ở đỉnh Cột 4 là chặng về đích của toàn bộ kiến trúc Qwen3-Omni & Qwen3-TTS-12Hz: biến chuỗi đặc trưng 50 Hz từ khối Pre-Transformer & ConvNeXt 4× (5A) thành sóng âm thanh liên tục ở tần số lấy mẫu 24.000 Hz (24 kHz). Vì tốc độ khung gốc của sổ mã là 12,5 khung/giây, mỗi khung 80 ms phải nở ra đúng 24.000 / 12,5 = 1.920 mẫu sóng âm; sau khi khối 5A đã phóng đại 4 lần, khối 6B thực hiện nốt phép phóng đại 480 lần qua 4 tầng liên tiếp có hệ số upsample_rates = [8, 5, 4, 3] (8 × 5 × 4 × 3 = 480, và 4 × 480 = 1.920).

Điểm đặc sắc nhất của khối 6B là nó hoàn toàn không dùng mô hình khử nhiễu Diffusion (Non-DiT) mà dùng chuỗi tích chập nhân quả kết hợp hàm kích hoạt tuần hoàn Qwen3OmniMoeSnakeBeta: SnakeBeta(x) = x + (1 / e^β) · sin²(e^α · x). Khác với ReLU hay SiLU vốn chỉ là hàm đơn điệu nên rất khó tự tạo ra các dao động sóng âm hình sin khi phóng đại, thành phần sin²(e^α · x) của SnakeBeta bơm trực tiếp cấu trúc tuần hoàn có tần số học được (α) và biên độ học được (β) vào từng kênh âm thanh.

Ví dụ đời thường: Hãy hình dung việc vẽ lại mặt sóng biển từ vài điểm đo thưa thớt: nếu dùng thước thẳng nối các điểm (như hàm tuyến tính từng đoạn ReLU) thì mặt nước sẽ gãy khúc cứng nhắc, nhưng nếu dùng một khuôn thước hình lượn sóng có sẵn độ nhấp nhô (SnakeBeta) thì chỉ cần đi một lượt là tái tạo được ngay các gợn sóng mịn màng. Phép so sánh này dừng lại ở chỗ mỗi tầng trong 4 tầng của 6B còn đi kèm 3 khối tích chập giãn nở (dilation = 1, 3, 9) và giảm nửa số kênh từ 1536 xuống 96 rồi về 1 kênh sóng âm.

2Luồng

Cách đọc hình (Cột 4, khối 6B trên đỉnh): từ 5A đi lên đỉnh Cột 4, đưa tín hiệu qua 4 tầng TransConv [×8, ×5, ×4, ×3] kèm hàm tuần hoàn SnakeBeta và các nhánh giãn nở (dilation 1, 3, 9) để đạt tổng hệ số phóng đại 4 × 480 = 1920 mẫu/khung, xuất sóng âm 24 kHz trong [-1, 1]; xem bước [6B] trong [Bài Lab tổng hợp Qwen3-Omni](/courses/qwen3-omni-speech/qwen3-omni-lab/qwen3-omni-end-to-end-lab/) ở Tab 02.

Sơ đồ luồng dữ liệu 4 cột · 10 thành phần (1A → 6B)

Kiến trúc Qwen3-Omni & Qwen3-TTS-12Hz · Ánh xạ 1:1 với Bài Lab tổng hợp

Bắt đầu từ 1A ở góc dưới Cột 1 đi lên 1B → 2A, sang Cột 2 (3A → 3B → 3C), qua Cột 3 (4A → 6A) và kết thúc ở Cột 4 (5A → 6B). Di chuột hoặc bấm vào từng khối để xem pop-over và đối chiếu với Lab.

Tất cả (10)1. AuT, TM-RoPE & Thinker2. Dual-Track & Talker MoE3. Code Predictor & 16-RVQ4. SnakeBeta Code2Wav 1920×

Ẩn khung overlay

1A1B2A3A3B3C4A6A5A6B

6B4 · Sliding Pre-Attn & 1920× Code2Wav

SnakeBeta(x) = x + (1/e^β)·sin²(e^α·x) · 4× TransConv [×8, ×5, ×4, ×3] (Dilations 1, 3, 9) → 1920 samples/frame (24 kHz)

6B · SnakeBeta Causal ConvNet (1920×) → 24kHz

Đỉnh Cột 4: phóng đại thêm 480× qua 4 tầng tích chập nhân quả [×8, ×5, ×4, ×3] dùng hàm kích hoạt tuần hoàn SnakeBeta để xuất sóng âm 24 kHz.

Từ 5A đi lên 6B ở đỉnh Cột 4: tín hiệu 50 Hz đi qua CausalConvNet(1024 → 1536) rồi lần lượt qua 4 khối Qwen3OmniMoeCode2WavDecoderBlock với hệ số phóng đại upsample_rates = [8, 5, 4, 3] (nhân 480 lần, tổng cộng 4 × 480 = 1920 mẫu/khung × 12.5 Hz = 24.000 mẫu/giây) đồng thời giảm nửa số kênh sau mỗi tầng (1536 → 768 → 384 → 192 → 96 → 1). Mỗi khối dùng hàm kích hoạt tuần hoàn SnakeBeta(x) = x + (1/e^β)·sin²(e^α·x) và 3 nhánh tích chập giãn nở (dilation = 1, 3, 9) để tái tạo hài âm tự nhiên mà không cần Diffusion, trước khi kẹp biên [-1, 1] và cắt bỏ vùng đệm trái left_context_size = 25 khi phát trực tuyến.

Bài 6B · SnakeBeta Causal ConvNet (1920×) & Chunked 24 kHz↗Xem bước [6B] trong Bài Lab tổng hợp↗

flowchart TD
  step1["1. Chiếu kênh khởi đầu CausalConvNet (1024 → 1536)"]
  step2["2. Đi qua 4 khối DecoderBlock #91;×8, ×5, ×4, ×3#93;"]
  step3["3. Chiếu về 1 kênh sóng âm và kẹp biên #91;-1, 1#93;"]
  step4["4. Cắt bỏ vùng đệm trái khi giải mã theo chunk"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

3Giải pháp

Công thức toán học chính xác của lớp Qwen3OmniMoeSnakeBeta trong modeling_qwen3_omni_moe.py là: $$\text{SnakeBeta}(x) = x + \frac{1}{e^{\beta} + \epsilon} \sin^2\!\left(e^{\alpha} x\right), \quad \epsilon = 10^{-9}$$ Tại sao hàm này luôn đồng biến (monotonic increasing) khi $\alpha = \beta$? Lấy đạo hàm theo $x$: $\frac{d}{dx}\text{SnakeBeta}(x) = 1 + e^{\alpha - \beta} \sin(2 e^{\alpha} x) \ge 0$ khi $\alpha \le \beta$, vừa giữ cho dòng gradient không bị triệt tiêu vừa bổ sung thành phần hài bậc cao nhờ hàm lượng giác $\sin^2$.

Hãy kiểm tra chuỗi kích thước kênh và tần số lấy mẫu xuyên suốt Code2Wav: bắt đầu từ tốc độ khung $f_0 = 12{,}5\text{ Hz}$ (1 khung mỗi 80 ms), sau 2 tầng của khối 5A với tỷ lệ $[2, 2]$ ta có $12{,}5 \times 4 = 50\text{ Hz}$. Tiếp tục đi qua 4 khối Qwen3OmniMoeCode2WavDecoderBlock với upsample_rates = $[8, 5, 4, 3]$, tốc độ mẫu tăng lần lượt: $50 \times 8 = 400\text{ Hz}$ (kênh 1536 → 768) $\to 400 \times 5 = 2.000\text{ Hz}$ (kênh 768 → 384) $\to 2.000 \times 4 = 8.000\text{ Hz}$ (kênh 384 → 192) $\to 8.000 \times 3 = 24.000\text{ Hz}$ (kênh 192 → 96), rồi chiếu về 1 kênh âm thanh моно 24 kHz!

Trong hàm chunked_decode(codes, chunk_size=300, left_context_size=25), mỗi đoạn mã được ghép thêm 25 khung lịch sử bên trái trước khi đưa vào mạng nhân quả, sau đó cắt bỏ đúng $25 \times 1920 = 48.000$ mẫu sóng âm ở đầu đoạn kết quả. Nhờ mọi phép tích chập trong 5A và 6B đều là tích chập nhân quả (đệm lệch trái), mẫu sóng âm sau khi cắt trùng khớp với giải mã toàn bộ câu một lần! Bạn có thể kiểm chứng trực tiếp ở mục [6B] của Bài Lab tổng hợp Qwen3-Omni.

4Profiling

• Kiểm tra tổng hệ số phóng đại mẫu (Total Upsampling = 1920×)

  Nhân toàn bộ chuỗi hệ số [2, 2] × [8, 5, 4, 3] = 4 × 480 = 1920 mẫu sóng âm cho mỗi khung RVQ 80 ms (1920 × 12,5 Hz = 24.000 Hz).

• Tính tương đương của Chunked Streaming Decode có Left Context

  So sánh đoạn sóng âm thứ hai khi giải mã liền một mạch toàn chuỗi so với khi giải mã rời có ghép left_context_size đủ lớn hơn vùng cảm thụ nhân quả: sai lệch tại vùng hợp lệ bằng 0.00e+00.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

SnakeBeta(x) = x + (1/e^β)·sin²(e^α·x)

Hàm kích hoạt tuần hoàn có tham số tần số α và tham số biên độ β học được riêng cho từng kênh.

upsample_rates = [8, 5, 4, 3] (480×)

Bốn tầng tích chập chuyển vị nhân quả nhân trục thời gian thêm 8 × 5 × 4 × 3 = 480 lần; kết hợp với 4× ở 5A thành 1920 mẫu/khung.

chunked_decode (chunk_size=300, left_context=25)

Giải mã sóng âm theo từng đoạn 300 khung kèm 25 khung ngữ cảnh bên trái để nối sóng liền mạch không có tiếng khấc.

7Bài liên quan

8Nguồn