4A · ASR từ biểu diễn audio tới chữ

1Định nghĩa

Automatic speech recognition (ASR) là bài toán suy ra chuỗi văn bản từ audio tiếng nói, dù số khung audio không bằng số token chữ.

Mel và audio encoder tạo vector theo thời gian; một đầu dự đoán có thể cho xác suất chữ ở mỗi khung hoặc nối encoder vào decoder ngôn ngữ. ASR không cần đi qua codec RVQ và không học dựng lại waveform.

Ví dụ đời thường: thư ký nghe bản ghi rồi ghi biên bản: cần giữ lời nói, không cần tái tạo đúng từng rung động của giọng. Nghe rõ một âm vẫn có thể chưa biết cách viết nếu thiếu ngữ cảnh.

2Luồng

Các ô cùng bài có thể là chẩn đoán hoặc lựa chọn thiết kế, không mặc định là các bước nối tiếp.

Sơ đồ kiến trúc huấn luyện · 22 ô (1A → 5D)

Huấn luyện tiếng nói · Ba mục tiêu và ánh xạ với lab

Bắt đầu 1A → 1B, rồi rẽ ba nhánh: codec 2A → 2B → 2C học sóng bằng loss ở 2D; TTS 3A → 3B → 3C → 3D học mã từ chữ và giọng; ASR 1C → 1D → 4A → 4B học chữ từ audio. 2E là chẩn đoán. 4C là vòng cập nhật dùng lại theo nhánh, 4D–4E và 5A–5B là kỹ thuật hoặc lựa chọn học. 5C → 5D nối hợp đồng streaming sang checkpoint và suy luận. Di chuột, Tab hoặc bấm ô để đọc năm phần.

Tất cả (22)1. Dữ liệu và đặc trưng2. Codec RVQ3. TTS và mã audio4. ASR và cập nhật5. Thích nghi và streaming

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E5A5B5C5D

4A4 · Nhận dạng và cập nhật

vector audio → logits chữ

4A · Đầu nhận dạng văn bản

Tách nhiệm vụ nhận dạng lời nói khỏi tái tạo sóng và chọn đầu dự đoán văn bản phù hợp.

Nhận gì

Vector audio từ 1D, không nhận mã sinh của TTS.

Làm gì, vì sao

Chiếu mỗi khung sang logits chữ, hoặc cho decoder văn bản attention lên audio; chọn cấu trúc theo bài toán căn chỉnh.

Ra gì

Điểm số nhãn tới 4B để chấm với transcript.

Ví dụ, cách đọc ô

Lab đầu tuyến tính dùng 12 dải Mel để đoán nhãn tone A/B/C có căn sẵn.

Lưu ý

Accuracy khung không phải WER của bản chép lời thật.

Đọc bài 4A · Đầu nhận dạng văn bản↗Lab 6 · thực thi phân loại khung đã căn: ASR theo khung và căn chỉnh↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi để học"]
  step3["Đọc kết quả"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Đầu vào và kiến thức cần nhớ

Đầu vào là đặc trưng audio và độ dài thật, nhãn là transcript đã tokenizer. Vocabulary là bảng ký hiệu văn bản; khác vocabulary của codec. Cùng số ID ở hai bảng không mang cùng ý nghĩa. Xác định quy tắc chuẩn hóa chữ, số và dấu trước khi đo.

Thao tác và lý do

Với đầu framewise, mỗi hàng hidden được chiếu sang logits nhãn khung. Muốn học từ transcript chưa căn, dùng CTC thay vì ép lặp nhãn tùy ý. Với encoder–decoder, decoder đọc text token trước đó và attention lên audio rồi dự đoán text token kế bằng CE.

Đầu ra và cách đọc

Kết quả là transcript và có thể timestamp nếu thiết kế hỗ trợ. Encoder–decoder có khả năng tận dụng ngữ cảnh chữ nhưng cũng có thể đoán chữ không tồn tại trong audio; cần kiểm trên im lặng, nhiễu và tên riêng.

4Profiling

• Kiểm đúng trước, đo sau

  WER là số thay thế + xóa + chèn từ, chia số từ tham chiếu; có thể vượt 100% khi chèn nhiều. Với ngôn ngữ khó tách từ, cân nhắc CER theo ký tự và quy tắc chuẩn hóa công khai. Accuracy theo khung không thể thay WER.

• Giới hạn kết luận

  Không dùng transcript làm điều kiện đầu vào của bộ nhận dạng khi đánh giá nhận dạng thuần audio.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

ASR từ biểu diễn audio tới chữ

Automatic speech recognition (ASR) là bài toán suy ra chuỗi văn bản từ audio tiếng nói, dù số khung audio không bằng số token chữ.

7Bài liên quan

8Nguồn