Độ sâu, chiều rộng và số tham số · thiết kế kích thước model

1Định nghĩa

Thiết kế kích thước mô hình (model sizing) là việc chọn bộ thông số hình học của mạng: độ sâu (số lớp xếp chồng L), chiều rộng vector ẩn (d_model), chiều trung gian của mạng FFN, số đầu Attention và kích thước bảng từ vựng. Các con số này ấn định trực tiếp kích thước của mọi ma trận trong checkpoint.

Với kỹ sư hệ thống, cần tách bạch hai con số: tổng số tham số (total parameters — quyết định dung lượng đĩa và lượng bộ nhớ HBM tối thiểu để nạp mô hình) và số tham số hoạt động mỗi token (active parameters — quyết định số phép tính nhân ma trận và lượng byte phải đọc ở mỗi bước decode). Ở mô hình Dense hai số này gần trùng nhau, còn ở mô hình MoE số tham số hoạt động chỉ bằng một phần nhỏ của tổng tham số.

Ví dụ đời thường: Thiết kế kích thước mô hình giống như việc quy hoạch quy mô một tòa nhà thương mại: độ sâu là số tầng lầu, chiều rộng là diện tích mặt sàn mỗi tầng, còn tổng số tham số là tổng số phòng làm việc trong cả tòa nhà (quyết định diện tích đất/bộ nhớ HBM cần có). Nếu là tòa nhà MoE, mỗi khách vào chỉ ghé thăm 2 phòng trên mỗi tầng (tham số hoạt động), nên tiền điện bật đèn theo lượt khách thấp hơn nhiều so với bật sáng toàn bộ tòa nhà.

2Luồng

flowchart TD
  step1["Chốt config và vocabulary"]
  step2["Khởi tạo hoặc nạp tensor đúng shapes"]
  step3["Huấn luyện cùng bộ trọng số"]
  step4["Đếm từ checkpoint và đánh giá"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

Các mũi tên biểu diễn quan hệ dữ liệu hoặc quyết định thiết kế. Chọn từng nút để đọc bài liên quan; mở sơ đồ Markdown / Mermaid bên dưới để sao chép.

3Giải pháp

Quy tắc chính xác: P = tổng tích các chiều của mỗi tensor tham số riêng biệt. Với demo, n là vocabulary, d là width, L=1, m=2d: P=2nd+L(4d²+3dm)=2nd+10d². Không có bias, learned normalization hoặc learned positions; input/output dùng hai ma trận riêng.

Simple: 2×13×6+10×6²=516. Dialogue: 2×77×16+10×16²=5.024. Để đọc công thức cho Grouped Query Attention, chia sẻ embedding và chuyên gia, mở bảng chi tiết tại wf-forward; không dùng công thức demo cho mọi LLM.

Chọn kích thước trong giới hạn compute/data/memory rồi đo chất lượng. Tăng số tham số có thể tăng khả năng biểu diễn nhưng cũng tăng chi phí và yêu cầu dữ liệu; không có width tốt nhất áp cho mọi bài toán.

4Profiling

• Tổng / trainable / active

  Liệt kê tensors duy nhất, trạng thái frozen và đường chuyên gia. Không cộng gradients, optimizer moments, activations hay cache vào P.

• Ngân sách training và inference

  Đo peak memory gồm weights/gradients/optimizer/activations, số token training và thời gian; khi serving đo weights/cache/workspace và latency.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Hidden dimension

Chiều rộng vector biểu diễn token bên trong model; trong công thức gọi là d.

Trainable parameters

Các phần tử trọng số được phép cập nhật ở lần training này; có thể ít hơn tổng checkpoint khi đóng băng module.

7Bài liên quan

8Nguồn