5C–5D · Huấn luyện nhân quả, checkpoint và cầu sang suy luận

1Định nghĩa

Huấn luyện cho streaming là giới hạn ngữ cảnh tương lai khi học sao cho mô hình có thể nhận hoặc phát các phần audio trước khi toàn chuỗi hoàn tất.

Frame rate là số khung mỗi giây; chunk là nhóm khung được xử lý chung, còn look-ahead là phần tương lai phải đợi. Độ dài chuỗi audio cùng lịch mã quyết định số bước; checkpoint mang tham số và cấu hình sang suy luận, nơi trọng số đóng băng.

Ví dụ đời thường: phiên dịch trực tiếp chỉ nghe đến hiện tại hoặc đợi một khoảng đã thỏa thuận. Tập luyện với bản chép đầy đủ tương lai rồi lên sân khấu nghe từng đoạn sẽ tạo lợi thế giả trong lúc luyện.

2Luồng

Các ô cùng bài có thể là chẩn đoán hoặc lựa chọn thiết kế, không mặc định là các bước nối tiếp.

Sơ đồ kiến trúc huấn luyện · 22 ô (1A → 5D)

Huấn luyện tiếng nói · Ba mục tiêu và ánh xạ với lab

Bắt đầu 1A → 1B, rồi rẽ ba nhánh: codec 2A → 2B → 2C học sóng bằng loss ở 2D; TTS 3A → 3B → 3C → 3D học mã từ chữ và giọng; ASR 1C → 1D → 4A → 4B học chữ từ audio. 2E là chẩn đoán. 4C là vòng cập nhật dùng lại theo nhánh, 4D–4E và 5A–5B là kỹ thuật hoặc lựa chọn học. 5C → 5D nối hợp đồng streaming sang checkpoint và suy luận. Di chuột, Tab hoặc bấm ô để đọc năm phần.

Tất cả (22)1. Dữ liệu và đặc trưng2. Codec RVQ3. TTS và mã audio4. ASR và cập nhật5. Thích nghi và streaming

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E5A5B5C5D

5C5 · Thích nghi, checkpoint, streaming

khung + chunk + ngữ cảnh tương lai → hợp đồng

5C · Hợp đồng streaming nhân quả

Giữ hợp đồng thời gian giữa lúc học và lúc phát audio, rồi nạp đúng codec, LM và cấu hình từ checkpoint.

Nhận gì

Frame rate, chunk, cửa sổ features và mask trong lúc học.

Làm gì, vì sao

Hạn chế nhìn tương lai theo đúng độ chờ được phép; kiểm cả encoder, LM và decoder để lúc phục vụ không mất thông tin đã dùng khi học.

Ra gì

Mô hình và cấu hình có hợp đồng thời gian rõ cho suy luận.

Ví dụ, cách đọc ô

Lab đổi tương lai từ khung 10, tiền tố lệch 0; khung 64 mẫu/8 kHz cần 8 ms dữ liệu, tính tay.

Lưu ý

Không đo độ trễ phần cứng; causal mask LM không sửa cửa sổ Mel nhìn tương lai.

Đọc bài 5C · Hợp đồng streaming nhân quả↗Lab 7 · thực thi kiểm nhân quả codec từng khung: Hợp đồng streaming và bộ nhớ↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi để học"]
  step3["Đọc kết quả"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Đầu vào và kiến thức cần nhớ

Ghi rõ sample rate, hop, stride, Q, tokenizer chữ, bảng mã, template, lịch depth/delay và trạng thái decoder theo chunk. Với ASR, encoder offline hai chiều có thể hợp lệ nhưng không tự trở thành streaming khi chia tệp lúc phục vụ.

Thao tác và lý do

Áp causal mask hoặc ngữ cảnh chunk đúng hợp đồng; huấn luyện decoder với lịch khung thật và kiểm đường nhìn tương lai ở cả tính features. Khi lưu, tách bản suy luận gồm weights/config khỏi bản resume gồm thêm optimizer, số bước và trạng thái RNG; seed ban đầu không đủ để resume đúng giữa chừng.

Đầu ra và cách đọc

Nạp checkpoint tương thích rồi sinh mã theo thứ tự và giải mã tăng dần. Kiểm nối chunk, điểm dừng và độ lệch so với chạy toàn chuỗi trong hợp đồng tương đương. Thời gian chờ một khung là thành phần thuật toán, chưa gồm tính toán, mạng và hàng đợi.

4Profiling

• Kiểm đúng trước, đo sau

  Đổi phần audio tương lai rồi so tiền tố: nếu mô hình được cam kết không nhìn tương lai thì đầu ra cũ phải giữ trong tolerance. Đo thời gian tới gói đầu và real-time factor (thời gian xử lý chia thời lượng audio) trên thiết bị cụ thể; không dùng một báo cáo mô hình làm số đo của lab.

• Giới hạn kết luận

  Causal không đồng nghĩa độ trễ 0; lab không chứng minh con số độ trễ của Qwen hoặc hệ phục vụ thật.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Huấn luyện nhân quả, checkpoint và cầu sang suy luận

Huấn luyện cho streaming là giới hạn ngữ cảnh tương lai khi học sao cho mô hình có thể nhận hoặc phát các phần audio trước khi toàn chuỗi hoàn tất.

7Bài liên quan

8Nguồn