Giới thiệu khóa học
LLM Foundations: các khối tạo nên một mô hình ngôn ngữ lớn và cách chọn bài để đọc
Một mô hình ngôn ngữ lớn (LLM, large language model) là chương trình đọc một dãy token và đoán token kế tiếp. Token là một mảnh văn bản nhỏ, như một từ hay một phần của từ, đã được đổi thành số. Các LLM hiện nay thường được ghép từ một số khối quen thuộc: các lớp Transformer (mạng xếp chồng nhiều lớp giống nhau), attention (cách mỗi token lấy thông tin từ các token trước nó), mạng truyền thẳng, mã hóa vị trí và chuẩn hóa.
Khóa này dạy từng khối đó và các biến thể của nó qua 34 bài học. Bạn cần nó trước khi sang LLM Training (huấn luyện) hay Inference Engineering (phục vụ), vì hai khóa đó đều xếp LLM Foundations làm phần đọc trước. Bản đồ kiến thức ở trang này cho biết bài nào thuộc nhóm nào để bạn không bị lạc.
Khóa học gồm
- Cấu trúc tổng thể và mạng truyền thẳng: encoder-only (đọc cả đầu vào theo hai chiều để tạo biểu diễn), decoder-only (chỉ nhìn các token trước để sinh token kế tiếp), encoder–decoder, text-only so với multimodal; mạng Dense (mọi token đi qua cùng một mạng) và cách tính độ sâu, chiều rộng, số tham số.
- Attention và cách truy cập ngữ cảnh: MHA (multi-head attention, mỗi head có key và value riêng), MQA (multi-query, mọi head dùng chung một bộ key và value), GQA (grouped-query, chia sẻ theo nhóm), MLA (nén key và value thành một vector nhỏ), cùng attention cục bộ, attention thưa và attention nén lịch sử.
- Vị trí và độ ổn định của tín hiệu: RoPE (mã hóa vị trí bằng phép xoay), các kiểu normalization (chuẩn hóa biên độ vector) và residual (đường tắt cộng đầu vào của một khối vào đầu ra của nó).
- Hồi quy và chuyên gia: state space như Mamba (truyền thông tin bằng một trạng thái được cập nhật dần), hybrid (trộn attention với hồi quy) và MoE (Mixture of Experts: nhiều mạng chuyên gia, mỗi token chỉ đi qua vài mạng).
- Mục tiêu huấn luyện và cơ chế sinh ở mức khái niệm (dự đoán token kế tiếp, multi-token prediction: dự đoán nhiều token một lúc, text diffusion: sinh văn bản bằng cách khử nhiễu dần cả một đoạn), cùng bản đồ chỉ sang bài của hai khóa tiếp theo.
Học xong, bạn có thể
- Nêu thứ tự các khối trong một lớp Transformer, và mỗi khối nhận gì, đổi gì, đưa ra gì.
- Phân biệt encoder-only, decoder-only và encoder–decoder, và giải thích vì sao các mô hình sinh văn bản thường là decoder-only: mặt nạ nhân quả khiến mỗi vị trí chỉ nhìn các vị trí trước.
- So sánh MHA, MQA, GQA và MLA ở một điểm cụ thể: mỗi token phải lưu bao nhiêu key và value (KV cache) để dùng lại.
- Nói MoE khác Dense ở đâu: tổng số tham số lớn, nhưng mỗi token chỉ dùng một phần (tham số active).
- Dùng bản đồ để tự chọn bài tiếp theo và biết bài nào nằm ở khóa khác.
Phạm vi: khóa này chỉ dạy cấu trúc của mô hình và nhắc tới mục tiêu huấn luyện ở mức khái niệm; cách huấn luyện nằm ở LLM Training (Text), còn cách phục vụ và tối ưu suy luận nằm ở Inference Engineering. Kiến trúc đa phương thức được giới thiệu ở bài Text-only / multimodal; từng mô hình cụ thể được mổ xẻ ở DeepSeek-V4.1-Flash, Qwen-Image-2.1 và Qwen3-Omni, nhưng chỉ về kiến trúc và suy luận.
Cách đọc bản đồ kiến thức
- Nhìn cấu trúc trước: bản đồ có 6 domain, mỗi domain là một khối lớn mang một chữ cái từ
AđếnFvà một tên chuyên môn, ví dụAlà Model & numerical foundations,Elà Training Architecture. - Tìm domain
E. Tên tiếng Anh dễ gây hiểu nhầm: thực chất đây là cách thiết kế cấu trúc mô hình, và là nơi nằm phần lớn bài của khóa này, chia thành 7 nhóm đánh số01đến07. - Mỗi ô là một năng lực (capability). Dòng đậm là tên, dòng nhỏ liệt kê khái niệm bài dạy, mũi tên ↗ nghĩa là bấm để mở bài. Ví dụ ô Decoder-only có dòng nhỏ Causal mask · sinh token · Llama.
- Các ô trong cùng một nhóm là chủ đề song song hoặc lựa chọn thay thế (như MHA, MQA, GQA, MLA), không phải các bước chạy nối tiếp. Nếu mới bắt đầu, đọc Decoder-only, rồi Các biến thể attention, rồi Dense, trước khi sang MoE hay hybrid.
- Dùng ô tìm kiếm phía trên bản đồ: gõ một từ khóa như GQA, MoE hay LoRA thì các ô không khớp mờ đi và bộ đếm cho biết có bao nhiêu mục phù hợp; bấm Xóa để bỏ lọc. Ô tìm kiếm bỏ qua dấu tiếng Việt.
Phần lớn ô thuộc domain A đến D mở bài ở Inference Engineering, còn ô thuộc domain F mở bài ở LLM Training (Text); đó là bình thường vì bản đồ dùng chung cho cả lộ trình. Phần cuối bản đồ có Dependency path (Foundations → Serving → Specialize → Production) gợi ý thứ tự đi tiếp sau khi xong nền tảng.
Inference Systems path · scheduler → state → serving
Accelerator Enablement path · operators → code → chip
Portfolio cho Inference Systems
Engine benchmark → latency breakdown → thử batching/KV policy → báo goodput và cost dưới cùng SLO. Kèm workload, config và failure/cancellation behavior.
Portfolio cho Accelerator Enablement
Reference operator → kernel/backend → correctness theo shape/dtype → profile → integration vào engine. Báo gain end-to-end cùng coverage và giới hạn hardware.
Nguồn công khai & phạm vi kiến trúc
Framework tổng hợp cơ chế từ tài liệu dưới đây. Hình thể hiện quan hệ chức năng, không khẳng định một implementation duy nhất. Các tối ưu là lựa chọn cần benchmark theo workload.
Danh sách bài học (34)
- Mô hình nhiều chuyên gia và việc gửi token tới expert
- Training Architecture · chọn cấu trúc trước khi huấn luyện
- Encoder-only · đọc toàn bộ đầu vào để tạo biểu diễn
- Decoder-only · học và sinh token kế tiếp
- Encoder–decoder · đọc chuỗi nguồn rồi tạo chuỗi đích
- Dense · mọi token dùng cùng mạng truyền thẳng trong một lớp
- Attention · cách token lấy thông tin từ ngữ cảnh
- Recurrent / State Space · truyền thông tin bằng trạng thái cập nhật
- Hybrid · kết hợp nhiều cơ chế truyền thông tin trong một model
- Text-only / multimodal · kiến trúc theo loại dữ liệu
- Độ sâu, chiều rộng và số tham số · thiết kế kích thước model
- Kiến trúc và mục tiêu huấn luyện · hai quyết định khác nhau
- MLA · latent KV, decoupled RoPE và matrix absorption
- Normalization · Pre, Post, Sandwich và QK-Norm
- Vị trí · RoPE, partial RoPE, NoPE và YaRN
- Local / global attention · lịch layer và ngân sách cache
- Attention gates & sinks · ba cơ chế khác nhau
- GDN, KDA và Mamba-2 · cập nhật state trong hybrid
- Sparse attention · DSA và MSA chọn vị trí
- Multi-token prediction · training heads và speculative decode
- Thiết kế MoE · granular experts, shared và lịch layer
- Latent MoE · chạy experts trong không gian nhỏ hơn
- Model nhỏ · PLE, MatFormer và effective parameters
- Compressed attention · CSA / HCA và hai trục nén
- Residual mới · mHC và Attention Residuals
- Causal encoder–decoder · kiến trúc DeepSeek-V4.1
- Engram · conditional memory và lookup tables
- Text diffusion · canvas, denoising và causal memory
- Đọc bảng kiến trúc · model families và các thay đổi nhỏ
- Cập nhật đến 08/10/2026 · bằng chứng và giới hạn
- GQA · Grouped-Query Attention, chia sẻ đầu KV và ngân sách cache
- MHA · Multi-Head Attention, độc lập đầu Q/K/V và chi phí KV cache
- MQA · Multi-Query Attention, một đầu KV dùng chung và giới hạn Tensor Parallel
- Causal mask · mặt nạ nhân quả tam giác dưới và tính bất biến quá khứ