Lab tổng hợp DeepSeek-V4.1-Flash — chạy toàn trình 1A → 6B bằng NumPy

1Định nghĩa

Bài học này là lab tổng hợp của khoá: nó ghép mười mã khối 1A – 6B của sơ đồ kiến trúc DeepSeek-V4.1-Flash thành một lượt forward duy nhất chạy bằng NumPy thuần, trong trình duyệt. Từng bài rời như ranh giới Causal Encoder–Decoder hay CSA2 nén và chia sẻ KV dạy một cơ chế riêng; ở đây bạn thấy mối nối giữa chúng: hidden state mà attention đọc đúng bằng hc_pre mà mHC (2A) vừa gộp xong, và mỗi con số in ở một mã khối đến từ đúng trạng thái mà mã liền trước đã ghi lại.

Một lượt chạy gồm prefill của DEMO_PROMPT = [1, 2, 3, 4] (vị trí 1 là token ảnh, bị che bằng DEAD = -1 trên bản đồ token nén — xem Aligner đa phương thức), hai bước decode tại start_pos 4 và 5, rồi các phép kiểm chứng. Cache chỉ được ghi tại lớp nguồn: Engram bộ nhớ có điều kiện chặn băm cắt ngang ảnh, Compressor tỉ lệ r gộp hai token thành một latent, còn MLA và W_O nhóm cho cả hai Q head dùng chung một bộ K/V một head. L2 và L4 không mang cache riêng, chỉ đọc lại mảng của L1 và L3; phần kiểm chứng đối chiếu array_equal và độ lệch decode dưới 1e-9.

Ví dụ đời thường: giống như một xưởng đóng gói theo dây chuyền có kho chung. Trang ảnh được dán nhãn riêng trước khi vào dây chuyền (1A), câu chữ được đánh chỉ mục nhưng bỏ qua trang ảnh (1B), bốn bản thảo song song được trộn đúng tỉ lệ đã cân bằng (2A), kho chỉ giữ bản nén thay cho bản gốc (3B), quầy xuất hóa đơn niêm yết giá sẵn (6A), còn trợ lý nhỏ phác giá trị thử trước khi bản chính thức được tính (6B). Bảng 890 B/token là giá niêm yết khai báo, không phải hóa đơn đo đạc.

2Luồng

Cách đọc hình 4 cột: bắt đầu ở 1A dưới đáy Cột 1 đi lên 1B → 2A; sang Cột 2 đi từ 3A → 3B → 3C để cấp KV và chỉ mục cho 4A ở nửa trên Cột 3 (nối hai chiều Store/Load với trụ bộ nhớ HBM 6A 890 B/tok ở nửa dưới Cột 3); sau đó sang Cột 4 từ mạng chuyên gia 5A ở dưới đi lên đầu ra 6B (Logits + DSpark). Mọi số liệu bên dưới lấy nguyên văn từ deepseek-v41-flash.py (seed 41).

Sơ đồ luồng dữ liệu 4 cột · 10 thành phần (1A → 6B)

Kiến trúc DeepSeek-V4.1-Flash & Ánh xạ 1:1 với Bài Lab tổng hợp

Bắt đầu từ 1A ở góc dưới Cột 1 đi lên 1B → 2A, sang Cột 2 (3A → 3B → 3C), qua Cột 3 (4A ↔ 6A) và kết thúc ở Cột 4 (5A → 6B). Di chuột hoặc bấm vào từng khối để xem pop-over và đối chiếu với Lab.

Tất cả (10)1. Input, Engram & mHC2. CED 20+20 & CSA23. MLA & FP4 KV (890B)4. FP4 MoE & DSpark

Ẩn khung overlay

1A1B2A3A3B3C4A6A5A6B

1A1 · Input, Engram & 4× mHC Stream

E[ids]: [B, T, 5120] · Image Patches 3×3 → DeepSeek-ViT (2D-RoPE) + Aligner → [B, N_img, 5120]

1A · Multimodal Input & Aligner 3×3

Điểm xuất phát ở đáy Cột 1: nhúng token chữ E[ids] và gộp mỗi ô 3×3 patch ảnh từ DeepSeek-ViT (2D-RoPE) phủ đè vào vị trí ảnh.

Bắt đầu đọc sơ đồ từ góc dưới bên trái (1A): các token văn bản được tra bảng E[ids] thành khối vector [B, T, 5120] (ở lab là [4, 8]). Nếu đầu vào có ảnh, DeepSeek-ViT (32 lớp, xoay vị trí 2D-RoPE) mã hóa các patch rồi Aligner gộp mỗi cụm 3×3 patch thành 1 vector (giảm 9 lần số token ảnh) và ghi đè trực tiếp lên span <｜deepseek_image｜> trước khi đẩy luồng ẩn đi lên 1B.

Bài 1A · Đầu vào đa phương thức & Aligner 3×3↗Xem bước [1A] trong Bài Lab tổng hợp↗

flowchart TD
  step1["1A–1B · Đầu vào đa phương thức và bộ nhớ Engram"]
  step2["2A · mHC một lượt — 4 làn residual"]
  step3["3A–3C · CED, Compressor r và Indexer phân cấp"]
  step4["4A · MLA: Q low-rank, K/V một head"]
  step5["5A · MoE fine-grained tách vai trò chọn và nhân"]
  step6["6A–6B · Ngân sách KV và dự đoán cuối + DSpark"]
  step1 --> step2
  step2 --> step3
  step3 --> step4
  step4 --> step5
  step5 --> step6

3Giải pháp

Bài toán cần giải quyết: sau khi học từng cơ chế rời, bạn cần chứng minh chúng ghép được thành một pipeline có thứ tự và vẫn giữ tính nhân quả khi token được xử lý lần lượt. Đầu vào là một prompt đa phương thức nhỏ, mọi tensor in thẳng ra màn hình; mỗi mã khối dạy một cặp phép toán và dãy số bạn đọc được ngay.

Tiến trình theo phụ thuộc số học (không theo cột vẽ của sơ đồ): 1A chuẩn bị nhúng và phủ đè ảnh; 1B cộng vào hc_pre của L1 một vector n-gram khi cặp token không chạm ảnh; 2A nâng trạng thái thành 4 làn rồi gộp lại. Ở đây lanes in shape (4, 4, 8) = 4 làn × 4 token × 8 chiều, còn ma trận comb sau Sinkhorn có tổng mỗi hàng và mỗi cột bằng 1.000000 — tính đơn vị song song của phép trộn.

Khối attention chia vai theo nguồn: L0 chỉ chạy SWA 2 slot; L1 giữ Compressor như bài CSA2 và phát latent khi cặp đủ (prefill phát tại end 1 và 3; decode lẻ chờ rồi phát tại end 5); L2 và L4 đọc lại mảng của nguồn nên không phải tính lại K/V cũ; L3 lưu Global KV dùng chung cho decoder theo bài CED. Indexer chọn tối đa một latent mỗi head bằng relu(q·k)/√d × w, trong khi slot ring 2 vị trí cung cấp cửa sổ gần chính xác.

MLA giảm chi phí KV bằng cách gom hai Q head về một bộ K/V một head, chỉ xoay RoPE trên hai chiều cuối và xoay ngược đầu ra trước W_O nhóm (mỗi group 4 → 3, ghép 6 → 8) như bài MLA. attention sink thêm một cột điểm cho mỗi hàng: ở mẫu pos 3 phần trọng số rơi vào sink bằng 0.076; bỏ nó đi thì các phân phối dễ bị lệch về token đầu tiên khi điểm Q·K lớn.

Kiểm soát chất lượng số trước khi nói về tốc độ: sai lệch Sinkhorn 2.22e-16 (ngưỡng 1e-6); đổi token cuối prompt khiến ba hàng logits đầu lệch đúng 0.00e+00 còn hàng bị đổi lệch 2.33e-02; decode trên cache khớp tính lại toàn chuỗi 6 token với 0.00e+00 (ngưỡng 1e-9). Ba kết quả này in trong phần [KIỂM TRA & THỬ NGHIỆM] và là bằng chứng CƠ CHẾ, không phải bằng chứng hiểu ngôn ngữ.

Giới hạn: lab chưa huấn luyện, trọng số chỉ là ngẫu nhiên có seed 41; argmax bốn hàng cùng chọn cột 6 (6, 6, 6, 6) là dấu hiệu rõ nhất để bạn tự kết luận điều đó. Ngân sách 890 B/token ở 6A là tổng lý thuyết của bảng đơn giá khai báo (FP4 E2M1 cho latent, FP8 E4M3 cho rope tail), còn tương quan 281× so GQA và 4492× so MHA chỉ đặt ra bậc độ lớn. Không dùng lab này để luận tốc độ GPU hay chất lượng văn bản thực.

4Profiling

• Kiểm tra cấu trúc và kích thước tensor trước khi đo

  Bước đầu đọc shape in ra và đối chiếu với khai báo: X0 (4, 8) sau 1A; lanes (4, 4, 8) và hc_pre (4, 8) ở 2A; logits (4, 8) ở 6B; cache L1 sau decode gồm 3 latent hoặc cache L3 gồm 6 latent. Shape sai nghĩa là có phép ghép head hoặc phép chiếu nào sai — sửa cấu hình chứ không giải thích số liệu giữa chừng.

• Đúng trước, nhanh sau: Sinkhorn và tính nhân quả

  Hai kiểm chứng (1) và (2) của lab là mốc đúng: comb 4×4 có sai lệch hàng/cột tối đa 2.22e-16, còn test [1, 2, 3, 5] giữ nguyên ba hàng logits đầu. Điều kiện: cùng seed 41, cùng cấu hình, thay đổi đúng một vị trí cuối; đo bằng sai số tuyệt đối trên từng hàng logits, không đo thời gian.

• Đối chiếu decode streaming với tính lại toàn chuỗi

  Kiểm chứng (4) chạy cả chuỗi [1, 2, 3, 4, 5, 2] từ đầu trên trạng thái mới rồi so từng hàng logits với bước decode tương ứng: lệch tối đa 0.00e+00 (ngưỡng 1e-9). Nếu lệch vượt ngưỡng, thứ tự cập nhật cache đã sai: sửa quy ước stream trước khi bàn tới tốc độ.

• Giới hạn của mọi phép đo trong lab

  Tất cả số đo là phép đối chiếu số học trên mảng NumPy rất nhỏ: không đo thời gian, không chạy checkpoint thật. Vector hoá prefill theo batch, đơn giá FP4 thật trên phần cứng và độ chính xác giữa PyTorch/Triton kernel với NumPy reference đều còn là bài học riêng; lab chỉ so khớp CƠ CHẾ đã khai báo ở các bài kiến trúc.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Prefill và decode

Prefill xử lý cả prompt [1, 2, 3, 4] một lượt; decode đưa từng token mới (5, rồi 2) vào mạng tại start_pos 4 và 5, dùng lại cache đã ghi.

Latent nén

Vector K/V nhỏ gộp trung bình r token liền nhau trong Compressor. Một latent (4,) đứng thay cho nhiều vector gốc (HEAD_DIM,) ở attention.

Lớp nguồn KV

Lớp duy nhất có quyền ghi cache (L1 và L3 trong lab). L2 dùng lại cache của L1, L4 dùng lại của L3, không tính lại K/V của token cũ.

DEAD = -1

Mã che trên bản đồ token nén: vị trí ảnh và cặp n-gram bắt qua ảnh bị vô hiệu hóa, nên băm Engram và khối nén không nhảy qua vùng đa phương thức.

attn_sink

Một cột điểm thêm vào mỗi hàng softmax; phần trọng số rơi vào sink (ví dụ 0.076 ở mẫu pos 3) không được gom về token nào, giúp phân phối không bị ép về token đầu tiên.

Cổng sqrt(softplus)

Điểm nhân của MoE: gate = căn bậc hai của softplus(scores). Chuyên gia được chọn theo scores + bias nhưng trọng số nhân lấy từ gate thô.

bias_vl

Bias cộng thêm về phía các chuyên gia xử lý phương thức ảnh, chỉ áp dụng tại vị trí ảnh (mã 5A). Nó đổi chuyên gia được CHỌN, không đổi giá trị cổng gate.

Confidence nháp DSpark

Xác suất của token nháp vừa vẽ từ phân phối draft; chưa qua bước verify bằng forward thật của mô hình lớn nên chỉ mang ý nghĩa minh họa.

7Bài liên quan

8Nguồn

9Bài lab