Huấn luyện tiếng nói

1A · Cặp audio–transcript và chia tập

Chọn cặp tiếng nói và bản chép lời, giữ thông tin người nói và tách tập để đo khả năng khái quát.

LESSON ID ta-data GROUP Kiến trúc huấn luyện

1Định nghĩa

Cặp audio–transcript là một đoạn sóng tiếng nói đi kèm văn bản mô tả điều được nói trong đoạn đó, dùng làm dữ liệu giám sát cho sinh hoặc nhận dạng tiếng nói.

Nhánh codec có thể học chỉ từ sóng; TTS (chuyển chữ thành tiếng nói) dùng chữ làm điều kiện và mã audio làm đích; ASR (nhận dạng tiếng nói tự động) đổi audio thành chữ. Sau chuẩn hóa sóng, ba nhánh dùng đầu ra khác nhau nên không chia sẻ một loại nhãn duy nhất.

Ví dụ đời thường: một quyển sách nói có cả bản ghi âm lẫn trang chữ. Người tập đọc nhìn chữ để nói, người tập chép nghe để viết; người nén tệp chỉ cần giữ bản ghi gần nguyên vẹn.

2Luồng

Các ô cùng bài có thể là chẩn đoán hoặc lựa chọn thiết kế, không mặc định là các bước nối tiếp.

Sơ đồ kiến trúc huấn luyện · 22 ô (1A → 5D)

Huấn luyện tiếng nói · Ba mục tiêu và ánh xạ với lab

Bắt đầu 1A → 1B, rồi rẽ ba nhánh: codec 2A → 2B → 2C học sóng bằng loss ở 2D; TTS 3A → 3B → 3C → 3D học mã từ chữ và giọng; ASR 1C → 1D → 4A → 4B học chữ từ audio. 2E là chẩn đoán. 4C là vòng cập nhật dùng lại theo nhánh, 4D–4E và 5A–5B là kỹ thuật hoặc lựa chọn học. 5C → 5D nối hợp đồng streaming sang checkpoint và suy luận. Di chuột, Tab hoặc bấm ô để đọc năm phần.

Sơ đồ kiến trúc huấn luyện tiếng nói gồm 22 ô từ 1A đến 5D

1A1 · Dữ liệu tiếng nói chung

sóng + lời + người nói → manifest đã chia tập

1A · Audio và bản chép lời

Chọn cặp tiếng nói và bản chép lời, giữ thông tin người nói và tách tập để đo khả năng khái quát.

Nhận gì: Bản ghi tiếng nói, transcript, người nói và nguồn có quyền dùng.
Làm gì, vì sao: Ghép đúng đoạn sóng với lời được nói; chia tập theo nguồn/người nói trước khi học để tránh rò dữ liệu.
Ra gì: Audio cho codec/ASR, chữ và giọng làm điều kiện cho TTS; không phải một nhãn chung cho ba nhánh.
Ví dụ, cách đọc ô: Lab: 192 khung tone có nhãn A/B/C và hai biên độ giả giọng, tách 164 học / 28 kiểm định.
Lưu ý: Chia theo khung tone không mô phỏng người nói chưa gặp.

Đọc bài 1A · Audio và bản chép lời Lab 1 · thực thi trên dữ liệu tổng hợp: Dữ liệu sóng và nhãn

Sơ đồ luồng (3 bước)

Nhận đầu vào
Bắt đầu bằng bản ghi có quyền sử dụng, transcript, ngôn ngữ, người nói, thời lượng và nguồn. Transcript là lời thực sự được nói; mô tả tiếng nền không tự biến thành lời thoại. Giữ ID người nói để đánh giá giọng mới và truy vết lỗi.
Biến đổi để học
Chia train, validation và test trước khi cắt đoạn hay chuẩn hóa bằng thống kê học được. Train cập nhật trọng số; validation chọn cấu hình; test chỉ đánh giá sau cùng. Nhóm theo bản ghi hoặc người nói tùy câu hỏi đo, rồi loại trùng giữa các tập để tránh ghi nhớ cùng một giọng hoặc câu.
Đọc kết quả
Lưu manifest: đường dẫn, khoảng thời gian, transcript và speaker ID. Nếu đánh giá người nói chưa gặp, toàn bộ đoạn của người đó phải nằm ngoài train. Nếu đánh giá cùng người nói trên câu mới, có thể giữ cùng speaker nhưng phải tách nội dung/bản ghi; ghi rõ giao thức.

Mã Mermaid

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi để học"]
  step3["Đọc kết quả"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Đầu vào và kiến thức cần nhớ

Bắt đầu bằng bản ghi có quyền sử dụng, transcript, ngôn ngữ, người nói, thời lượng và nguồn. Transcript là lời thực sự được nói; mô tả tiếng nền không tự biến thành lời thoại. Giữ ID người nói để đánh giá giọng mới và truy vết lỗi.

Thao tác và lý do

Chia train, validation và test trước khi cắt đoạn hay chuẩn hóa bằng thống kê học được. Train cập nhật trọng số; validation chọn cấu hình; test chỉ đánh giá sau cùng. Nhóm theo bản ghi hoặc người nói tùy câu hỏi đo, rồi loại trùng giữa các tập để tránh ghi nhớ cùng một giọng hoặc câu.

Đầu ra và cách đọc

Lưu manifest: đường dẫn, khoảng thời gian, transcript và speaker ID. Nếu đánh giá người nói chưa gặp, toàn bộ đoạn của người đó phải nằm ngoài train. Nếu đánh giá cùng người nói trên câu mới, có thể giữ cùng speaker nhưng phải tách nội dung/bản ghi; ghi rõ giao thức.

4Profiling

Kiểm đúng trước, đo sau
Kiểm tra trùng nguồn, tỷ lệ câu thiếu chữ, thời lượng theo người nói và phân bố độ dài trước khi học. So kết quả trên người nói đã gặp và chưa gặp; điểm cao của tập có bản ghi trùng không phải bằng chứng khái quát.
Giới hạn kết luận
Không suy chất lượng dữ liệu tiếng nói từ số khung; lab không tải tiếng người thật hoặc học giọng mới.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

Đối chiếu ô 1A và lab giai đoạn 1

Lab tạo 192 khung tone mang nhãn A/B/C và hai biên độ giả người nói, tách 164 khung học và 28 khung kiểm định. Đây là chia theo khung tổng hợp, không mô phỏng kiểm định người nói mới. Tự kiểm: đổi riêng seed tạo pha có thể làm sai số kiểm định tăng hoặc giảm. Hãy giữ cách chia tập, khởi tạo mô hình và số bước học không đổi, rồi đo lại MSE codec và accuracy ASR; một seed tốt hơn chưa chứng minh khả năng khái quát trên tiếng người hoặc người nói mới.

Tự thực hành có hướng dẫn

Mở [bài Lab tổng hợp](/courses/llm-training-audio/train-audio-lab/ta-end-to-end-lab/) rồi tìm khối [1] trong output. Viết lại đầu vào, kết quả và giới hạn của khối đó trước khi thử thay một hằng số. Nếu cơ chế chỉ được giải thích chứ chưa được thực thi, không ghi PASS của lab thành bằng chứng cho cơ chế ấy.

6Thuật ngữ

Cặp audio–transcript và chia tập: Cặp audio–transcript là một đoạn sóng tiếng nói đi kèm văn bản mô tả điều được nói trong đoạn đó, dùng làm dữ liệu giám sát cho sinh hoặc nhận dạng tiếng nói.

Glossary (1)

Đối chiếu sơ đồ: Ô 1A; giai đoạn 1 của lab. Không suy chất lượng dữ liệu tiếng nói từ số khung; lab không tải tiếng người thật hoặc học giọng mới.

7Bài liên quan

1B · Chuẩn hóa, phân đoạn và lọc audio Lab tổng hợp · huấn luyện audio bằng NumPy

8Nguồn

Qwen3-TTS · kiến trúc tokenizer và sinh tiếng nói