L0 · Lifecycle / control

Quản lý vòng đời các bản sao mô hình

Tầng điều khiển quản lý vòng đời worker: khởi tạo, nạp mô hình, kiểm tra sẵn sàng, tự động co giãn (autoscaling) và nâng cấp an toàn.

LESSON ID control GROUP Kiến trúc Inference

1Định nghĩa

Control plane là hệ thống quản lý vòng đời của toàn bộ các bản sao mô hình (workers/replicas) trong cụm phục vụ, tách biệt với luồng xử lý dữ liệu trực tiếp (data plane). Nó đảm bảo luôn có đủ số lượng worker chạy đúng phiên bản mô hình và ở trạng thái khỏe mạnh để nhận lưu lượng.

Khi khởi tạo hoặc cập nhật phiên bản mới, control plane điều phối việc nạp checkpoint, chạy thử làm nóng (warmup) các kernels rồi mới bật cờ sẵn sàng (readiness) cho router gửi tải vào. Khi cần thu hồi máy hoặc giảm quy mô (scale down), nó chuyển worker sang chế độ rút tải êm (drain): ngừng nhận request mới nhưng đợi các chuỗi đang decode dở hoàn tất.

Ví dụ đời thường: Control plane giống như ban quản lý điều hành của một chuỗi siêu thị. Ban quản lý không trực tiếp đứng quầy tính tiền cho khách, nhưng chịu trách nhiệm mở thêm quầy mới khi giờ cao điểm, kiểm tra quầy đã nạp đủ tiền lẻ và máy quét hoạt động tốt trước khi treo biển "Mở quầy", cũng như rút biển nhận khách mới và đợi khách đang tính dở thanh toán xong rồi mới đóng quầy bảo trì.

2Luồng

Sơ đồ luồng (4 bước)

Chọn model version
Đọc artifact đã kiểm tra.
Nạp và chuẩn bị
Load, compile/capture, warmup.
Nhận traffic khi ready
Router thấy capacity mới.
Theo dõi và điều chỉnh
Scale, rollout hoặc rollback dựa telemetry.

Mã Mermaid

flowchart TD
  step1["Chọn model version"]
  step2["Nạp và chuẩn bị"]
  step3["Nhận traffic khi ready"]
  step4["Theo dõi và điều chỉnh"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

3Giải pháp

Scale theo nhu cầu và thời gian chuẩn bị của model; giữ replicas ấm có thể giảm burst latency. Placement phải tính topology nếu model chạy phân tán.

Nếu scale chỉ dựa phần trăm utilization, có thể phản ứng muộn hoặc sai bottleneck. Dùng thêm queue và tỷ lệ đáp ứng thời gian cam kết.

4Profiling

Time to ready
Đo từ quyết định tạo replica đến lúc nó phục vụ được request đầu.
Hiệu quả rollout
So lỗi, latency và quality của bản mới; đo thời gian drain và rollback.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

Phát hành tokenizer mới

Model, tokenizer và template phải được đổi đồng bộ, có manifest và đường rollback.

Tải tăng buổi sáng

Bắt đầu tạo capacity trước hoặc giữ warm reserve vì load model không tức thì.

6Thuật ngữ

Readiness: Tín hiệu cho biết bản sao đã thực sự sẵn sàng nhận request.
Canary rollout: Phát hành cho một phần traffic trước để kiểm tra rồi mới mở rộng.
Drain: Ngừng nhận request mới và xử lý các request đang còn chạy.

Glossary (6)

Model weights: Các tham số số học được học và lưu trong checkpoint.
Tokenizer: Bộ chuyển đổi văn bản và chuỗi mã token theo bảng từ vựng.
Runtime: Phần mềm quản lý việc thực thi, buffers và phụ thuộc giữa phép toán.
Latency: Thời gian chờ để nhận một kết quả hoặc một bước kết quả.
Warmup: Chạy chuẩn bị để hoàn tất khởi tạo, compilation/capture hoặc ổn định execution trước đo.
Worker: Tiến trình hoặc máy thực hiện một phần công việc của hệ thống.

7Bài liên quan

Checkpoint, artifact và việc nạp mô hình Chọn bản sao mô hình để xử lý yêu cầu Giữ dịch vụ ổn định khi tải tăng hoặc worker lỗi Tính chi phí trên công việc thực sự hữu ích

8Nguồn

TensorRT-LLM: tích hợp engine với dịch vụ