Tính chi phí trên công việc thực sự hữu ích

1Định nghĩa

Unit economics trong suy luận là bài toán quy đổi chi phí hạ tầng (giá thuê GPU, máy chủ, mạng và phần công suất dự phòng) thành chi phí thực tế để tạo ra một đơn vị kết quả hữu ích — thường tính bằng USD trên 1 triệu token hoặc trên 1.000 request đạt chuẩn độ trễ.

Điểm cốt lõi của bài toán này là lấy chi phí cụm máy chia cho thông lượng hữu ích (goodput đo từ benchmark), chứ không chia cho tốc độ lý thuyết lúc chạy đơn lẻ. Một tối ưu kỹ thuật (như đổi kernel hay bật speculative decoding) chỉ thực sự làm giảm giá thành khi nó giúp mỗi GPU phục vụ được nhiều lưu lượng đạt chuẩn hơn hoặc giảm số lượng bản sao mô hình cần duy trì.

Ví dụ đời thường: Tính toán unit economics giống như việc chủ quán cà phê tính giá thành thực tế cho mỗi ly cà phê bán được. Chủ quán phải lấy tổng tiền thuê mặt bằng, tiền máy pha và lương nhân viên ca trực chia cho số ly cà phê đạt chuẩn giao tới tay khách — chứ không thể chia cho công suất lý thuyết của máy pha khi quán vắng khách hoặc khi pha hỏng phải đổ bỏ.

2Luồng

flowchart TD
  step1["Workload và yêu cầu dịch vụ"]
  step2["Đo capacity hữu ích"]
  step3["Tính tài nguyên cần có"]
  step4["Tính chi phí mỗi kết quả"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

3Giải pháp

So cấu hình bằng goodput dưới cùng mục tiêu dịch vụ. Tính cả host, network và các pools thêm nếu dùng kiến trúc tách prefill/decode.

Không tăng batching tới mức người dùng chờ quá lâu chỉ để giảm cost/token trên bài test. Chi phí phải gắn với chất lượng phục vụ được chấp nhận.

4Profiling

• Chi phí và denominator

  Ghi kỳ thời gian, phạm vi tài nguyên và số request/token hợp lệ.

• Tỷ lệ sử dụng hữu ích

  Đo idle, công việc bị hủy và reserve; kiểm tra burst có vượt capacity không.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Cost per token

Chi phí chia cho số token được chọn làm mẫu số; phải ghi input, output hoặc cả hai.

Capacity headroom

Khả năng xử lý dự phòng cho burst, sự cố và biến động workload.

7Bài liên quan

8Nguồn