1B · Chuẩn hóa, phân đoạn và lọc audio

1Định nghĩa

Tiền xử lý audio là chuỗi phép biến đổi đưa các bản ghi khác định dạng về đầu vào có cùng hợp đồng thời gian và chất lượng.

Tần số lấy mẫu là số mẫu sóng trong một giây; resampling tính lại mẫu trên lưới thời gian mới có lọc chống aliasing. Cặp audio–transcript chỉ còn hữu ích nếu mỗi đoạn cắt vẫn khớp chính xác phần chữ đi cùng.

Ví dụ đời thường: cắt phụ đề đi kèm một video: đổi số khung hình không làm câu nói dài gấp đôi, còn cắt nhầm mốc thời gian sẽ đặt phụ đề của câu khác vào đoạn đang xem.

2Luồng

Các ô cùng bài có thể là chẩn đoán hoặc lựa chọn thiết kế, không mặc định là các bước nối tiếp.

Sơ đồ kiến trúc huấn luyện · 22 ô (1A → 5D)

Huấn luyện tiếng nói · Ba mục tiêu và ánh xạ với lab

Bắt đầu 1A → 1B, rồi rẽ ba nhánh: codec 2A → 2B → 2C học sóng bằng loss ở 2D; TTS 3A → 3B → 3C → 3D học mã từ chữ và giọng; ASR 1C → 1D → 4A → 4B học chữ từ audio. 2E là chẩn đoán. 4C là vòng cập nhật dùng lại theo nhánh, 4D–4E và 5A–5B là kỹ thuật hoặc lựa chọn học. 5C → 5D nối hợp đồng streaming sang checkpoint và suy luận. Di chuột, Tab hoặc bấm ô để đọc năm phần.

Tất cả (22)1. Dữ liệu và đặc trưng2. Codec RVQ3. TTS và mã audio4. ASR và cập nhật5. Thích nghi và streaming

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E5A5B5C5D

1B1 · Dữ liệu tiếng nói chung

sóng → fixed sample rate → đoạn khớp lời

1B · Chuẩn hóa và lọc sóng

Đưa sóng về một tần số lấy mẫu, cắt đoạn đúng lời và lọc cặp không khớp trước khi huấn luyện.

Nhận gì

Audio khác sample rate, độ dài và chất lượng, cùng transcript tương ứng.

Làm gì, vì sao

Resample có lọc chống aliasing về tần số cố định, cắt đoạn rồi lọc nhiễu và sai khớp chữ; giữ thời lượng thật.

Ra gì

Sóng chuẩn cho codec; sóng sang Mel cho ASR; chữ và speaker đi riêng tới 3A.

Ví dụ, cách đọc ô

Một giây 16 kHz đổi sang 8 kHz vẫn một giây; đây là tính tay, lab tạo thẳng 8 kHz.

Lưu ý

Lab không thực thi resampling, phân đoạn hay lọc chất lượng.

Đọc bài 1B · Chuẩn hóa và lọc sóng↗Lab 1 · đầu vào đã chuẩn; không thực thi tiền xử lý: Dữ liệu sóng và nhãn↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi để học"]
  step3["Đọc kết quả"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Đầu vào và kiến thức cần nhớ

Đọc đúng sample rate trong tệp, số kênh và mức biên độ. Đổi nhãn metadata từ 16 kHz sang 24 kHz không phải resampling: nó làm thời lượng và cao độ bị đọc sai. Khi hạ tần số, lọc bỏ thành phần vượt giới hạn mới trước khi lấy mẫu lại.

Thao tác và lý do

Dùng khoảng lặng hoặc bộ phát hiện tiếng nói để đề xuất ranh giới, rồi kiểm tra không cắt cụt từ. Cắt transcript bằng timestamp đã căn chỉnh. Lọc clipping (đỉnh bị cắt), quá nhiều im lặng, nhiễu nặng, sai ngôn ngữ và sai khớp audio–chữ; đặt ngưỡng dựa trên kiểm tra mẫu thay vì chép một ngưỡng chung.

Đầu ra và cách đọc

Trả sóng ở fixed sample rate, độ dài thật, transcript đoạn và cờ chất lượng. Padding chỉ làm các chuỗi bằng chiều dài trong batch; phải giữ mặt nạ để vùng đệm không được chấm loss. Không xóa khoảng dừng mang ngữ điệu chỉ để làm dữ liệu ngắn.

4Profiling

• Kiểm đúng trước, đo sau

  Trước và sau resampling, so thời lượng tính bằng số mẫu chia sample rate và nghe kiểm tra cao độ. Báo tỷ lệ bị loại theo ngôn ngữ/người nói: bộ lọc có thể ưu tiên giọng dễ nghe và làm dữ liệu lệch.

• Giới hạn kết luận

  Không gọi việc bỏ mỗi mẫu thứ hai là resampling đúng nếu chưa lọc chống aliasing.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Chuẩn hóa, phân đoạn và lọc audio

Tiền xử lý audio là chuỗi phép biến đổi đưa các bản ghi khác định dạng về đầu vào có cùng hợp đồng thời gian và chất lượng.

7Bài liên quan

8Nguồn