Dense · mọi token dùng cùng mạng truyền thẳng trong một lớp

1Định nghĩa

Trong phân loại kiến trúc LLM, một mô hình gọi là Dense (đặc) khi ở mỗi lớp Transformer, vector của mọi token đều đi qua cùng một khối mạng truyền thẳng (FFN/MLP) duy nhất. Không có bộ định tuyến (router) nào rẽ nhánh token sang các mạng con khác nhau như trong Mixture of Experts (MoE).

Vì mọi tham số của các lớp ẩn đều tham gia tính toán cho từng token, tổng số tham số của mô hình Dense cũng chính là số tham số hoạt động (active parameters) ở mỗi bước decode. Lưu ý rằng các cổng kích hoạt như SwiGLU bên trong mạng FFN chỉ nhân điều tiết giá trị từng phần tử chứ không bỏ qua khối trọng số nào, nên mô hình dùng SwiGLU vẫn hoàn toàn là mô hình Dense.

Ví dụ đời thường: Mô hình Dense giống như một dây chuyền lớp học mà mọi học sinh đều học chung một bộ giáo trình và qua tay tất cả các thầy cô trong trường như nhau, bất kể câu hỏi dễ hay khó. Cách tổ chức này đơn giản, đồng bộ và dễ quản lý, nhưng nếu trường càng đông giáo viên thì mỗi bài kiểm tra đều phải đi qua đủ bấy nhiêu bàn chấm.

2Luồng

flowchart TD
  step1["Attention tạo vector có ngữ cảnh"]
  step2["Mạng truyền thẳng dùng chung biến đổi vector"]
  step3["Cộng với đường residual"]
  step4["Tính loss và cập nhật trọng số"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

Các mũi tên biểu diễn quan hệ dữ liệu hoặc quyết định thiết kế. Chọn từng nút để đọc bài liên quan; mở sơ đồ Markdown / Mermaid bên dưới để sao chép.

3Giải pháp

Dense là baseline thuận tiện để kiểm tra correctness và đo chi phí: không phải cân bằng expert load hoặc chuyển token tới expert shards. Tuy vậy, model lớn vẫn có thể cần tensor hoặc pipeline parallelism.

Trong một khối SwiGLU không bias, chiều rộng đầu vào d và trung gian m cho ba ma trận d×m, d×m, m×d, tổng 3dm tham số. Giảm precision hay fusion có thể giảm chi phí thực thi nhưng không tự thay Dense thành MoE hoặc đảm bảo tốc độ tăng.

4Profiling

• Shapes và số tham số

  Đếm riêng trọng số input/output/attention/truyền thẳng; nếu hai phép toán dùng chung tensor thì chỉ đếm một lần.

• Chi phí mạng truyền thẳng

  Profile thời gian và bytes đọc/ghi theo batch, d, m, dtype. So fusion hoặc quantization với baseline có cùng chất lượng.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Feed-forward network

Mạng truyền thẳng: biến đổi vector tại một vị trí bằng trọng số và hàm kích hoạt; thường viết FFN.

SwiGLU

Swish Gated Linear Unit: biến thể dùng phép kích hoạt Swish và cổng nhân để điều tiết tín hiệu trong mạng truyền thẳng.

7Bài liên quan

8Nguồn