Chọn token từ điểm số và xuất văn bản

1Định nghĩa

Sampling là khâu chuyển bảng điểm thô (logits) ở đầu ra mô hình thành một mã token cụ thể ở cuối pha prefill và mỗi bước decode. Nếu cần kết quả cố định, hệ thống chọn thẳng token có điểm cao nhất (greedy); nếu cần câu trả lời tự nhiên hoặc đa dạng, hệ thống chuẩn hóa điểm bằng hệ số nhiệt độ (temperature), lọc nhóm ứng viên sáng giá nhất qua ngưỡng top-k hoặc top-p, rồi bốc thăm theo xác suất.

Sau khi chốt được mã token, hệ thống kiểm tra điều kiện dừng (token EOS, chuỗi dừng hoặc số token tối đa). Nếu chưa dừng, mã token này được đẩy ngược vào vòng decode kế tiếp, đồng thời mảnh văn bản tương ứng được giải mã qua tokenizer để stream ngay về phía người dùng.

Ví dụ đời thường: Sampling giống như cách bạn chọn món trong thực đơn khi đã chấm điểm mức độ yêu thích cho từng món. Chọn kiểu tham lam (greedy) là cứ món điểm cao nhất mà gọi mỗi ngày; còn chỉnh nhiệt độ (temperature) và lọc top-p giống như việc giữ lại 3–4 món ngon nhất trong ngày rồi bốc thăm ngẫu nhiên trong nhóm đó để bữa ăn vừa ngon vừa không bị nhàm chán.

2Luồng

flowchart TD
  step1["Logits từ mô hình"]
  step2["Áp quy tắc chọn"]
  step3["Kiểm tra dừng"]
  step4["Xuất văn bản"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

3Giải pháp

Giữ sampling trên thiết bị khi phù hợp giúp tránh đồng bộ dữ liệu liên tục với host. Với output có cấu trúc, bộ ràng buộc có thể giới hạn token hợp lệ theo trạng thái định dạng.

Tăng buffer trước khi gửi giảm số lần truyền nhưng làm người dùng thấy token chậm hơn. Chọn điểm cân bằng theo ứng dụng.

Để theo dõi một hàng logits trở thành xác suất, bị lọc top-k và top-p rồi cho ra một token và điều kiện dừng, hãy chạy khối 8 (Logits → sampling → stop check) trong Bài Lab tổng hợp.

4Profiling

• Sampling và flush latency

  Tách thời gian chọn token khỏi thời gian gửi nó tới client.

• Tính đúng khi dừng

  Kiểm tra token kết thúc và stop string kéo dài qua nhiều token; so văn bản streamed với văn bản cuối.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Greedy decoding

Luôn chọn token có điểm số cao nhất tại bước hiện tại.

Temperature

Hệ số điều chỉnh độ tập trung của phân phối trước khi lấy mẫu.

Nucleus sampling / top-p

Giữ tập token nhỏ nhất có tổng xác suất đạt ngưỡng đã chọn rồi lấy mẫu trong tập đó.

7Bài liên quan

8Nguồn