Huấn luyện tiếng nói
5B · Distillation và ưu tiên độ tự nhiên
Tách việc dạy mô hình nhỏ bắt chước teacher khỏi việc học xếp hạng các bản tiếng nói được ưa thích.
1Định nghĩa
Distillation chuyển hành vi của teacher sang student, còn preference tuning điều chỉnh mô hình theo cặp đầu ra được chọn và bị loại cho cùng điều kiện.
Student có thể học phân phối mã mềm, sóng hoặc đặc trưng; nếu đổi codec và bảng mã, không thể ghép ID teacher với ID student tùy ý. Preference dùng đánh giá người nghe về tự nhiên, rõ lời và giống giọng; nó không phải cùng loss với tái tạo.
Ví dụ đời thường: học sinh luyện theo cách đọc của giáo viên là bắt chước; so hai bản thu rồi chọn bản dễ nghe là xếp hạng. Giáo viên có lỗi thì học sinh có thể học lỗi, còn hai người nghe có thể thích hai giọng khác nhau.
2Luồng
Các ô cùng bài có thể là chẩn đoán hoặc lựa chọn thiết kế, không mặc định là các bước nối tiếp.
teacher → student; chosen so với rejected5B · Distillation và ưu tiên
Tách việc dạy mô hình nhỏ bắt chước teacher khỏi việc học xếp hạng các bản tiếng nói được ưa thích.
- Nhận gì
- Teacher/student hoặc cặp bản nói chosen/rejected cùng điều kiện.
- Làm gì, vì sao
- Distillation dạy student bắt chước; preference điều chỉnh xác suất tương đối theo lựa chọn người nghe để nhắm tới tự nhiên và rõ lời.
- Ra gì
- Student hoặc policy mới; hai phương pháp độc lập, không phải hai bước bắt buộc.
- Ví dụ, cách đọc ô
- Hai codec cùng tám mã chưa chắc ID cùng nghĩa; không KL trực tiếp khi bảng mã khác.
- Lưu ý
- Lab không thực thi hai phương pháp, không gán số cải thiện giọng cho chúng.
- Nhận đầu vào
Xác định teacher, student và không gian mục tiêu chung. Codec nhỏ hơn hoặc decoder ít bước là hướng thiết kế, nhưng giảm số bước không tự là distillation: cần mục tiêu để student học hành vi teacher. Với preference, ghép các bản sinh cùng text và điều kiện để tránh xếp hạng sai nguyên nhân.
- Biến đổi để học
Khi cùng từ vựng mã, KL đo lệch giữa phân phối teacher và student; nhiệt độ làm mềm xác suất và phải giữ thang gradient phù hợp. Nếu bảng mã khác, dùng sóng/đặc trưng chung hoặc bộ chuyển đổi có kiểm chứng. Với DPO, so log-prob chosen/rejected tương đối với model tham chiếu đóng băng; độ dài audio và token hóa ảnh hưởng phép so.
- Đọc kết quả
Student nhỏ hoặc policy được chỉnh ưu tiên; cả hai cần đánh giá nội dung, giọng, độ ổn định và chi phí. Không hứa student nhanh hơn khi chưa đo decoder và số bước; không hứa preference sửa mọi lỗi phát âm chỉ từ một điểm tự nhiên.
Mã Mermaid
flowchart TD
step1["Nhận đầu vào"]
step2["Biến đổi để học"]
step3["Đọc kết quả"]
step1 --> step2
step2 --> step33Giải pháp
Đầu vào và kiến thức cần nhớ
Xác định teacher, student và không gian mục tiêu chung. Codec nhỏ hơn hoặc decoder ít bước là hướng thiết kế, nhưng giảm số bước không tự là distillation: cần mục tiêu để student học hành vi teacher. Với preference, ghép các bản sinh cùng text và điều kiện để tránh xếp hạng sai nguyên nhân.
Thao tác và lý do
Khi cùng từ vựng mã, KL đo lệch giữa phân phối teacher và student; nhiệt độ làm mềm xác suất và phải giữ thang gradient phù hợp. Nếu bảng mã khác, dùng sóng/đặc trưng chung hoặc bộ chuyển đổi có kiểm chứng. Với DPO, so log-prob chosen/rejected tương đối với model tham chiếu đóng băng; độ dài audio và token hóa ảnh hưởng phép so.
Đầu ra và cách đọc
Student nhỏ hoặc policy được chỉnh ưu tiên; cả hai cần đánh giá nội dung, giọng, độ ổn định và chi phí. Không hứa student nhanh hơn khi chưa đo decoder và số bước; không hứa preference sửa mọi lỗi phát âm chỉ từ một điểm tự nhiên.
4Profiling
- Kiểm đúng trước, đo sau
So student học nhãn cứng với học teacher trên cùng ngân sách. Với preference, báo đồng thuận người chấm và tỷ lệ thích trong phép thử mù, kèm transcript/giọng bị thay đổi. Biên ưu tiên tăng không chứng minh xác suất tuyệt đối chosen tăng.
- Giới hạn kết luận
Nguồn DPO mô tả mục tiêu ưu tiên tổng quát; áp vào speech là lựa chọn cần thiết kế và đánh giá riêng, không phải công thức chất lượng tự động.
Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.
5Ví dụ
Đối chiếu ô 5B và lab giai đoạn 8
Tự kiểm: teacher và student cùng có tám mã nhưng dùng hai codec khác nhau; có thể KL hai đầu ra trực tiếp không? Không, cùng số chiều chưa bảo đảm cùng ý nghĩa từng ID. Cần ánh xạ hoặc mục tiêu chung. Lab bước 8 chỉ giải thích ranh giới, không thực thi distillation hay DPO; không có số cải thiện chất lượng được gán cho hai phương pháp.
Tự thực hành có hướng dẫn
Mở [bài Lab tổng hợp](/courses/llm-training-audio/train-audio-lab/ta-end-to-end-lab/) rồi tìm khối [8] trong output. Viết lại đầu vào, kết quả và giới hạn của khối đó trước khi thử thay một hằng số. Nếu cơ chế chỉ được giải thích chứ chưa được thực thi, không ghi PASS của lab thành bằng chứng cho cơ chế ấy.
6Thuật ngữ
- Distillation và ưu tiên độ tự nhiên
- Distillation chuyển hành vi của teacher sang student, còn preference tuning điều chỉnh mô hình theo cặp đầu ra được chọn và bị loại cho cùng điều kiện.
Glossary (1)
- Đối chiếu sơ đồ
- Ô 5B; giai đoạn 8 của lab. Nguồn DPO mô tả mục tiêu ưu tiên tổng quát; áp vào speech là lựa chọn cần thiết kế và đánh giá riêng, không phải công thức chất lượng tự động.