4E · Học nền và SFT hội thoại tiếng nói

1Định nghĩa

Pretraining xây năng lực nền trên dữ liệu rộng, còn supervised fine-tuning (SFT) dùng ví dụ chỉ dẫn–đáp án để dạy một hành vi cụ thể.

Codec có thể pretrain tái tạo audio; LM speech học chữ–mã để đọc lời; mô hình hội thoại cần dữ liệu hỏi–đáp và mặt nạ chỉ chấm phần trả lời. Điều kiện và mặt nạ quyết định tín hiệu học, trong khi vòng backward–AdamW vẫn giữ nguyên nguyên tắc.

Ví dụ đời thường: học đọc to nhiều trang sách rồi tập trả lời câu hỏi của khách. Đọc trôi chảy không đồng nghĩa biết chọn đúng câu trả lời, và kịch bản hỏi–đáp ít mẫu có thể bị thuộc lòng.

2Luồng

Các ô cùng bài có thể là chẩn đoán hoặc lựa chọn thiết kế, không mặc định là các bước nối tiếp.

Sơ đồ kiến trúc huấn luyện · 22 ô (1A → 5D)

Huấn luyện tiếng nói · Ba mục tiêu và ánh xạ với lab

Bắt đầu 1A → 1B, rồi rẽ ba nhánh: codec 2A → 2B → 2C học sóng bằng loss ở 2D; TTS 3A → 3B → 3C → 3D học mã từ chữ và giọng; ASR 1C → 1D → 4A → 4B học chữ từ audio. 2E là chẩn đoán. 4C là vòng cập nhật dùng lại theo nhánh, 4D–4E và 5A–5B là kỹ thuật hoặc lựa chọn học. 5C → 5D nối hợp đồng streaming sang checkpoint và suy luận. Di chuột, Tab hoặc bấm ô để đọc năm phần.

Tất cả (22)1. Dữ liệu và đặc trưng2. Codec RVQ3. TTS và mã audio4. ASR và cập nhật5. Thích nghi và streaming

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E5A5B5C5D

4E4 · Nhận dạng và cập nhật

dữ liệu nền hoặc chỉ dẫn → mục tiêu học

4E · Học nền và SFT

Chọn dữ liệu và vùng nhãn để chuyển từ học biểu diễn, đọc chữ sang làm theo chỉ dẫn và trả lời bằng giọng nói.

Nhận gì

Checkpoint xuất phát cùng corpus rộng hoặc ví dụ chỉ dẫn–trả lời.

Làm gì, vì sao

Pretraining học năng lực nền; SFT chấm phần trả lời để học hành vi hội thoại, dùng cùng nguyên tắc cập nhật.

Ra gì

Checkpoint phù hợp tác vụ; nội dung câu trả lời và giọng cần đánh giá riêng.

Ví dụ, cách đọc ô

Mask user=0, reply=1 là ví dụ SFT: user vẫn được đọc làm điều kiện nhưng không bị chấm.

Lưu ý

Lab không thực thi SFT; TTS đọc chữ không tự biết trả lời câu hỏi.

Đọc bài 4E · Học nền và SFT↗Lab 8 · chỉ giải thích; không thực thi SFT: Checkpoint và giới hạn phương pháp↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi để học"]
  step3["Đọc kết quả"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Đầu vào và kiến thức cần nhớ

Xác định checkpoint xuất phát, modality đầu vào và đầu ra cần học. Với spoken reply, nhãn có thể gồm nội dung text, audio hoặc cả hai theo lịch thiết kế. Không mặc định mọi model được pretrain từ đầu hoặc mọi loss đều chạy đồng thời.

Thao tác và lý do

Dùng corpus đa người nói/ngôn ngữ cho năng lực nền, rồi SFT trên ví dụ có vai trò user/assistant rõ. Response mask chấm nhãn trả lời, padding bị loại. Nếu audio đầu vào chứa câu hỏi, đừng cho mô hình nghe trước câu trả lời đích qua một nhánh encoder.

Đầu ra và cách đọc

Lưu checkpoint kèm template hội thoại, codec và quy tắc mask. Eval tách chất lượng nội dung trả lời khỏi chất lượng giọng, độ đúng lời và khả năng dừng. Có thể giọng tốt nhưng câu trả lời sai, hoặc nội dung đúng mà phát âm kém.

4Profiling

• Kiểm đúng trước, đo sau

  So base và SFT trên cùng prompt chưa gặp, báo độ đúng nội dung, lỗi nhận dạng bản sinh và đánh giá nghe. Theo dõi quên năng lực nền; tỷ lệ dữ liệu và LR là lựa chọn cần thử, không lấy loss train thấp làm bằng chứng tốt hơn.

• Giới hạn kết luận

  Học TTS theo transcript không tự tạo khả năng trả lời câu hỏi; cần nguồn nội dung và mục tiêu hội thoại phù hợp.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Học nền và SFT hội thoại tiếng nói

Pretraining xây năng lực nền trên dữ liệu rộng, còn supervised fine-tuning (SFT) dùng ví dụ chỉ dẫn–đáp án để dạy một hành vi cụ thể.

7Bài liên quan

8Nguồn