E · Training Architecture
Đọc bảng kiến trúc · model families và các thay đổi nhỏ
Cách đọc và đối chiếu bảng thông số kiến trúc của các họ mô hình thực tế để quy đổi ra yêu cầu bộ nhớ, kernel và cấu hình phục vụ.
1Định nghĩa
Khi tiếp nhận một mô hình mới để triển khai hoặc tinh chỉnh, kỹ sư không thể suy đoán cấu trúc hệ thống chỉ từ tên gọi thương mại (như hậu tố Pro, Flash hay Thinking). Một bảng đối chiếu kiến trúc chuẩn phải bóc tách từng thành phần kỹ thuật từ file cấu hình (config.json) và báo cáo kỹ thuật của checkpoint cụ thể đó.
Sáu thông số cốt lõi cần đọc đầu tiên để lên phương án hạ tầng gồm: (1) tổng tham số và tham số hoạt động (Dense hay MoE); (2) cơ chế Attention và nén KV cache (GQA, MLA, SWA, Hybrid); (3) chuẩn hóa và vị trí (RMSNorm / QK-Norm, RoPE / NoPE); (4) cấu trúc residual; (5) nhánh dự đoán phụ (MTP); và (6) bộ xử lý đa phương thức.
Ví dụ đời thường: Đọc bảng đối chiếu kiến trúc mô hình giống như việc kỹ sư đọc bảng thông số kỹ thuật chi tiết của một chiếc ô tô (loại động cơ, hộp số, mức tiêu hao nhiên liệu, kích thước thùng xe) thay vì chỉ nghe tên gọi quảng cáo như "bản Sport" hay "bản Luxury" — vì chỉ có thông số kỹ thuật thật mới cho biết xe cần loại xăng nào và có lọt vừa gara của bạn hay không.
2Luồng
- Chốt variant và source
Model card → config → code/report.
- Tách cơ chế độc lập
Điền từng trục; để unknown khi chưa có bằng chứng.
- Chọn runtime và đánh giá
Xác nhận kernel/cache rồi đo task thật.
Mã Mermaid
flowchart TD
step1["Chốt variant và source"]
step2["Tách cơ chế độc lập"]
step3["Chọn runtime và đánh giá"]
step1 --> step2
step2 --> step3Luồng mô tả cơ chế hoặc quy trình kiểm tra. Các ví dụ số là giả định giáo dục; demo Atlas không chạy kiến trúc production này.
3Giải pháp
Giữ đồng thời depth, hidden width, FFN width và vocabulary khi so tham số. Model sâu/hẹp không tự tốt hay nhanh hơn model nông/rộng.
GELU, SwiGLU và modified SwiGLU có công thức/shapes khác; activation clamp và projection bias phải được giữ khi convert. QK-Norm và partial RoPE cũng không phải chi tiết có thể bỏ nếu muốn logits parity.
Không suy architecture từ benchmark hoặc throughput vendor. Kimi K2 Thinking giữ nền tảng K2; MiniMax M2 không kế thừa linear attention chỉ vì M1 có cơ chế khác. Những kết luận cần source riêng.
Weight tying dùng cùng matrix cho input embedding và output head nên chỉ đếm unique weights một lần. Nanbeige4.1-3B config tie_word_embeddings=false: phải đếm hai matrix. Multilingual tokenizer đổi V và token-per-text; kiến trúc giống nhau không đảm bảo cùng chi phí trên một đoạn văn.
Một FFN GELU hai projection có xấp xỉ 2dm weights; SwiGLU ba projection có 3dm với cùng d,m, trước biases. Khi đổi activation, m thường cũng đổi để giữ budget; không kết luận model dùng SwiGLU luôn có nhiều tham số hơn nếu không đọc shapes.
Catalog cơ chế · checkpoint công khai
| Model / họ | Điểm cần phân biệt | Bài cơ chế |
|---|---|---|
| DeepSeek V3 / R1 | MLA + granular/shared MoE | MLA, MoE design |
| OLMo 2 / 3 | Norm trong residual branch; QK-Norm; OLMo 3 có local/global | Normalization, local/global |
| Gemma 3 / 3n / 4 | Local/global; 3n PLE/MatFormer; 4 có dense và MoE | Window, edge, position |
| Mistral Small 3.1 | Dense GQA; sliding_window=null trong config | Comparison, attention |
| Llama 4 | GQA, dense/MoE layer placement | MoE design |
| Qwen3 | Dense hoặc MoE tùy variant; QK-Norm | Normalization, MoE design |
| SmolLM3 | Một phần layer dùng NoPE | Position |
| Kimi K2 / Thinking | MLA + MoE; Thinking không tự là architecture mới | MLA, objectives |
| gpt-oss | Window/full, sink logits, biases, modified SwiGLU | Gates/sinks, local/global |
| Grok 2.5 | MoE + nhánh always-on | MoE design |
| GLM-4.5 | GQA + MoE; dense prefix | MoE design |
| Qwen3-Next | GDN + gated attention; granular MoE và MTP | Delta, gates, MTP |
| MiniMax-M2 | GQA, QK-Norm, partial RoPE; khác M1 | Normalization, position |
| Kimi Linear | KDA + MLA; decay theo channel | Delta, MLA |
| DeepSeek-V3.2 | DSA trên MLA | Sparse attention |
| Mistral Large 3 | MLA + MoE; multimodal | MLA, MoE, multimodal |
| Nemotron 3 Nano / Super | Mamba-2/attention/MoE; Super có latent MoE | Delta, latent experts |
| MiMo-V2-Flash | 5:1 local/global, window 128; MTP | Local/global, MTP |
| Trinity Large | Local/global; NoPE global; gates; depth-scaled norm | Position, gates, normalization |
| GLM-5 | MLA + DSA + MoE | MLA, sparse attention |
| Qwen3.5 | GDN + gated attention; dense và MoE variants | Hybrid, delta |
| Kimi K2.5 | MLA/MoE + MoonViT; phân biệt early fusion dữ liệu và token | Multimodal, MLA |
| Step 3.5 Flash | 3:1 sliding/full attention; MTP và MoE | Local/global, gates, MTP |
| Qwen3-Coder-Next | Nền Qwen3-Next; thay đổi training cho coding | Delta, objectives |
| MiniMax-M2.5 | GQA/MoE; quality không tự là architecture delta | Comparison, MoE |
| Nanbeige4.1-3B | Dense GQA, embeddings/output không tied | Sizing, comparison |
| Ling / Ring 2.5 | Lightning Linear + MLA; khác delta update | Delta, MLA |
| Tiny Aya | Parallel block; 3:1 sliding/full; NoPE ở full (paper) | Residual, tokenizer |
| Sarvam 30B / 105B | 30B GQA; 105B MLA-style; cùng họ khác cơ chế | Attention, MLA, sizing |
Catalog dẫn đến nguồn gốc; audit report đối chiếu riêng cả 23 mục bài viết. Tên họ không thay thế config của từng variant.
4Profiling
- Source agreement
Đối chiếu table với config/code, ghi khác biệt và revision.
- Serving fit
Ghi supported kernels, state layout, parameter residency và quality dưới cùng budget.
Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.
5Ví dụ
Mistral Small 3.1
Config công khai có sliding_window=null: không gán sliding window theo một model Mistral khác. Latency claim không chứng minh một cơ chế kiến trúc cụ thể.
Danh sách ≠ thực thi
Bạn có thể đọc DSA trong lesson, nhưng lab decoder nhỏ vẫn dùng dense causal attention. Có nguồn và phương trình không đồng nghĩa Atlas chạy được checkpoint DSA.
6Thuật ngữ
- Architecture delta
- Thay đổi phép tính, topology hoặc shapes có bằng chứng công khai.
- Variant
- Checkpoint cụ thể; không đại diện mọi bản cùng tên họ.
Glossary (9)
- Model weights
- Các tham số số học được học và lưu trong checkpoint.
- Tokenizer
- Bộ chuyển đổi văn bản và chuỗi mã token theo bảng từ vựng.
- Cache
- Bộ nhớ giữ kết quả có thể dùng lại; trong attention thường giữ key/value vectors.
- Logits
- Điểm số chưa chuẩn hóa cho các token ứng viên trước khi chọn token.
- Activation
- Giá trị trung gian được tạo ra trong forward của mạng neural.
- Kernel
- Hàm tính toán chạy trên thiết bị; thường xử lý nhiều phần tử song song.
- Runtime
- Phần mềm quản lý việc thực thi, buffers và phụ thuộc giữa phép toán.
- Latency
- Thời gian chờ để nhận một kết quả hoặc một bước kết quả.
- Throughput
- Lượng công việc được xử lý trong một đơn vị thời gian.