Training Architecture · chọn cấu trúc trước khi huấn luyện

1Định nghĩa

Kiến trúc mô hình (model architecture) là bản thiết kế quy định dữ liệu đầu vào đi qua những khối toán học nào, các khối đó kết nối ra sao và mỗi ma trận trọng số có kích thước bao nhiêu. Khi làm việc với một checkpoint có sẵn, cấu trúc này đã được khóa cố định trong file cấu hình và quyết định loại kernel lẫn trạng thái bộ nhớ mà inference engine phải hỗ trợ.

Thay vì coi mỗi tên thương mại là một kiểu mô hình hoàn toàn mới, kỹ sư phân tích bất kỳ LLM nào qua 5 trục độc lập: (1) cấu trúc đọc/sinh chuỗi (Encoder, Decoder-only hay Encoder–Decoder); (2) mạng xử lý vị trí (Dense hay MoE); (3) cơ chế truyền ngữ cảnh (Attention, State Space hay Hybrid); (4) phương thức dữ liệu (văn bản hay đa phương thức); và (5) quy mô tham số.

Ví dụ đời thường: Chọn kiến trúc mô hình giống như việc chọn bản thiết kế khung gầm và động cơ trước khi chế tạo một chiếc xe: xe tải chở hàng, xe buýt hay xe con, dùng một động cơ chung hay nhiều động cơ phối hợp, và dung tích xi-lanh lớn hay nhỏ. Sơn lại màu xe hay đổ loại xăng khác (đổi dữ liệu huấn luyện) sẽ không tự biến một chiếc xe con thành xe tải được.

2Luồng

flowchart TD
  step1["Chọn nhiệm vụ và loại dữ liệu"]
  step2["Chọn cấu trúc và cơ chế xử lý"]
  step3["Chọn kích thước và ngân sách"]
  step4["Chuẩn bị dữ liệu và nhãn"]
  step5["Khởi tạo hoặc nạp model rồi tính dự đoán"]
  step6["Đánh giá checkpoint sau training"]
  step1 --> step2
  step2 --> step3
  step3 --> step4
  step4 --> step5
  step5 --> step6

Các mũi tên biểu diễn quan hệ dữ liệu hoặc quyết định thiết kế. Chọn từng nút để đọc bài liên quan; mở sơ đồ Markdown / Mermaid bên dưới để sao chép.

3Giải pháp

Đọc configuration và shapes trọng số trước khi chọn engine. Kiến trúc quyết định loại state, phép tính và kernel mà runtime cần hỗ trợ; thêm dữ liệu không tự đổi những cấu trúc này.

Trong fine-tuning thông thường, giữ kiến trúc checkpoint và đổi dữ liệu/mục tiêu cập nhật. Thêm lớp, đổi chiều rộng hoặc thay Dense bằng chuyên gia đòi hỏi chuyển đổi trọng số và huấn luyện thích hợp; không phải một nút tối ưu runtime.

Bảng bên dưới là các ví dụ công khai được kiểm tra ngày 08/10/2026, không phải danh sách toàn bộ LLM hay xếp hạng chất lượng. Không suy ra kiến trúc của model đóng từ tên thương mại hoặc số điểm benchmark.

4Profiling

• Hợp đồng model–runtime

  Đối chiếu config, tensor shapes, attention mask và loại cache với implementation; kiểm tra logits trên input cố định.

• Ngân sách và chất lượng

  Đo số tham số riêng biệt, bộ nhớ peak, token mỗi giây và chất lượng trên dữ liệu giữ riêng; so dưới cùng giới hạn tài nguyên.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Architecture

Bản thiết kế các khối tính toán, liên kết và kích thước trọng số của model.

Checkpoint

Bản lưu trọng số cùng cấu hình cần để dựng lại model; không chỉ là tên dataset.

7Bài liên quan

8Nguồn