Cầu nối suy luận: checkpoint, Euler, CFG và giải mã

1Định nghĩa

Sampling của mô hình flow là dùng trường vận tốc đã học để biến một mẫu nhiễu thành latent ảnh, rồi giải mã latent ra pixel. Đây là suy luận với trọng số cố định; không có loss hay bước AdamW trong vòng lấy mẫu.

Ô 5A nạp checkpoint và bản EMA đã chọn; 5B dùng điều kiện chữ, t và latent hiện tại để tính vận tốc, có thể trộn CFG, rồi tích phân Euler. Ô 5C giải mã bằng VAE tương thích; 5D nối sang khóa suy luận cụ thể.

Ví dụ đời thường: Một bản chỉ đường đã học được đem dùng nhiều lần cho các điểm xuất phát khác nhau. Mỗi bước đi dựa trên vị trí hiện tại và bản chỉ đường cố định; người đi không sửa lại bản đồ sau mỗi bước, còn đường đi phụ thuộc điểm xuất phát.

2Luồng

Mã 5A, 5B, 5C, 5D khớp sơ đồ Tab 01. Giai đoạn 9 khớp Tab 02; ánh xạ không có nghĩa mọi kỹ thuật của ô đều được triển khai trong lab.

Sơ đồ kiến trúc huấn luyện · 24 ô (1A → 5D)

Kiến trúc huấn luyện LLM · Ánh xạ với Bài Lab tổng hợp

Bắt đầu 1A → 1B, tách ảnh sang 1C và chữ sang 1D. Cột 2 tạo trạng thái nhiễu, điều kiện và target để 2D dự đoán; 3A → 3D chấm và sửa trọng số. next batch lặp về dữ liệu, load weights xuống 5A → 5D để sampling không gradient. Cột 4 là các lựa chọn, không phải chuỗi bước bắt buộc. Liên kết Lab trong pop-over nêu phần thực thi và phần chỉ giải thích.

Tất cả (24)1. Dữ liệu & điều kiện2. Tạo đề & dự đoán3. Học & lưu4. Quy mô & phương pháp5. Suy luận

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E4F4G5A5B5C5D

5B5 · Checkpoint sang lấy mẫu

nhiễu → cộng Δt·v → latent sạch

5B · Euler và CFG

Lặp dự đoán vận tốc với trọng số cố định để đi từ nhiễu tới latent ảnh.

Nhận gì

Denoiser từ 5A, điều kiện chữ và nhiễu ban đầu cùng shape latent.

Làm gì, vì sao

Ở mỗi t, trộn v_null+s·(v_cond−v_null) rồi Euler cộng Δt·v; khóa đi từ t=0 tới t=1.

Ra gì

Latent cuối sang 5C; không có backward hay AdamW trong vòng này.

Ví dụ, cách đọc ô

Lab 8 bước, scale=1,5: MSE tới hình mẫu 0,017335; scale=1 là nhánh có điều kiện.

Lưu ý

Không phải vòng token kế tiếp; giảm bước chưa chưng cất và tăng CFG không luôn tốt hơn.

Đọc bài 5B · Euler và CFG↗Lab 9 · Checkpoint sang Euler và CFG — Euler và công thức CFG thật, cùng nhiễu để so.↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi và nối hệ thống"]
  step3["Đối chiếu thực hành"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Vị trí trên sơ đồ: 5A, 5B, 5C, 5D. Tiền đề: biết tensor/attention từ LLM Foundations và loss, gradient, AdamW từ LLM Training (Text); phần dưới nhắc lại kiến thức cần dùng tại chỗ.

Nhắc lại hợp đồng trước khi chạy

Khớp denoiser, prediction type, lịch t, biểu diễn null, VAE scale/shift và text encoder. Nhiễu đầu có shape latent và seed riêng. Nếu dùng nhiều prompt với cùng nhiễu để so, giữ mọi cấu hình còn lại giống nhau. Đừng đổi chiều t theo thói quen của một scheduler khác.

Euler và CFG trong khóa này

Với t đi từ 0 tới 1 và K bước đều, Δt=1/K, z_(k+1)=z_k+Δt·v_theta(z_k,t_k,c). Nếu dùng CFG thì thay vận tốc bằng v_null+s·(v_cond−v_null) ở cùng z_k,t_k. Euler là xấp xỉ cục bộ; bước lớn có thể đi lệch trường. K là số bước lấy mẫu, khác STEPS là số cập nhật huấn luyện.

Khóa dùng target u=z−e, nên dấu cộng là nhất quán với đường từ nhiễu tới sạch. Sau bước cuối, hoàn tác chuẩn hóa latent và chạy VAE decoder. Không gọi decoder sau mỗi bước trừ khi chỉ để xem tiến trình. Không coi vòng này là decode token kế tiếp hay tự động áp KV cache của mô hình văn bản.

Đọc số và đi tiếp

Giai đoạn 9 của Bài Lab tổng hợp chạy Euler 8 bước, s=1,5 cho MSE với hai hình mẫu 0,017335; RMS lệch bản 64 bước 0,024457. Ma trận in là số thô chưa cắt ngưỡng (clamp) về [−1,1]: các giá trị vượt ngoài [−1,1] vừa có thể đến từ nhiễu Gaussian nhỏ đã cộng sẵn vào dữ liệu đích khi tạo mẫu, vừa có thể đến từ sai số xấp xỉ của mạng/bước tích phân Euler hay ngoại suy CFG; giữ số thô giúp quan sát trung thực biên độ thay vì che bằng cắt số, nhưng chỉ nhìn riêng một pixel vượt [−1,1] chưa tách được nguyên nhân nào. VAE ở đây chỉ là reshape đồng nhất.

Sang bài vòng Euler của Qwen-Image-2.1 để đọc cơ chế suy luận của mô hình đó. Recipe flow ở khóa này là nền tảng tổng quát, không khẳng định biết đầy đủ dữ liệu hoặc công thức huấn luyện riêng của Qwen-Image-2.1. Bộ mã hóa ngữ cảnh đa phương thức có thể khác bảng tra nhãn của lab.

4Profiling

• Đúng toán trước chất lượng

  Thử trường vận tốc hằng có nghiệm biết trước để kiểm tra Euler, so scale=1 với nhánh có điều kiện và nạp lại checkpoint với input cố định. Sau đó mới so ảnh giữa các K trên cùng seed.

• Số lần gọi và thời gian

  Báo K, CFG, số lần forward denoiser và decoder, resolution cùng phần cứng. K ít hơn không chứng minh tỉ lệ tăng tốc nếu mỗi bước hoặc overhead khác; lab không đo GPU.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Euler

Cập nhật trạng thái bằng bước thời gian nhân vận tốc hiện tại.

Sampling seed

Hạt giống quyết định nhiễu khởi đầu, dùng để tái tạo hoặc so có kiểm soát.

7Bài liên quan

8Nguồn