Nhiễu, thời gian và mục tiêu flow matching

1Định nghĩa

Flow matching là cách học một trường vận tốc để đưa phân phối nhiễu thành phân phối dữ liệu. Thay vì chạy cả quỹ đạo khi học, mỗi batch lấy một thời điểm trên một đường đã biết rồi dạy mạng dự đoán vận tốc tại đó.

Với latent sạch z từ VAE cố định và nhiễu Gaussian e độc lập, khóa dùng z_t = (1−t)e + t·z, t từ 0 đến 1. Mục tiêu u = z−e là đạo hàm của đường; denoiser DiT chỉ thấy z_t, t và điều kiện, không thấy riêng z và e.

Ví dụ đời thường: Hãy chọn hai điểm trên bản đồ rồi chỉ hướng đi từ điểm đầu tới điểm cuối. Một mẫu huấn luyện cung cấp vị trí đang đứng và hướng đúng; mô hình học bản đồ chỉ hướng chung từ nhiều chuyến đi, không được xem điểm đích riêng của từng chuyến lúc lấy mẫu.

2Luồng

Mã 2A, 2B, 2E khớp sơ đồ Tab 01. Giai đoạn 2 khớp Tab 02; ánh xạ không có nghĩa mọi kỹ thuật của ô đều được triển khai trong lab.

Sơ đồ kiến trúc huấn luyện · 24 ô (1A → 5D)

Kiến trúc huấn luyện LLM · Ánh xạ với Bài Lab tổng hợp

Bắt đầu 1A → 1B, tách ảnh sang 1C và chữ sang 1D. Cột 2 tạo trạng thái nhiễu, điều kiện và target để 2D dự đoán; 3A → 3D chấm và sửa trọng số. next batch lặp về dữ liệu, load weights xuống 5A → 5D để sampling không gradient. Cột 4 là các lựa chọn, không phải chuỗi bước bắt buộc. Liên kết Lab trong pop-over nêu phần thực thi và phần chỉ giải thích.

Tất cả (24)1. Dữ liệu & điều kiện2. Tạo đề & dự đoán3. Học & lưu4. Quy mô & phương pháp5. Suy luận

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E4F4G5A5B5C5D

2A2 · Tạo đề và dự đoán

rút t · e Gaussian cùng shape latent

2A · Thời gian và nhiễu

Chọn vị trí trên đường nhiễu và tạo một mẫu nhiễu độc lập cho mỗi ảnh.

Nhận gì

Shape latent sạch và cấu hình phân phối lấy thời gian, không cần chạy sampler.

Làm gì, vì sao

Lấy nhiễu Gaussian chuẩn e và thời gian t; lab lấy t đều trong [0,1], quy định 0=nhiễu, 1=sạch.

Ra gì

e và t sang 2B; e còn dùng tại 2E, t còn vào denoiser 2D.

Ví dụ, cách đọc ô

t là tọa độ mức nhiễu, không phải số bước AdamW hoặc thời gian chạy GPU.

Lưu ý

Đổi phân phối lấy t có thể đổi objective; lịch VP không phải đường tuyến tính của lab.

Đọc bài 2A · Thời gian và nhiễu↗Lab 2 · Latent và đường nội suy — Lấy t đều và nhiễu Gaussian thật.↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi và nối hệ thống"]
  step3["Đối chiếu thực hành"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Vị trí trên sơ đồ: 2A, 2B, 2E. Tiền đề: biết tensor/attention từ LLM Foundations và loss, gradient, AdamW từ LLM Training (Text); phần dưới nhắc lại kiến thức cần dùng tại chỗ.

Nhắc lại phân phối và trục thời gian

Gaussian chuẩn là nhiễu có trung bình 0 và phương sai 1 ở từng tọa độ. t là tọa độ của đường nhiễu, không phải số bước AdamW hay thời gian chạy GPU. Trong khóa này t=0 là nhiễu và t=1 là sạch; nhiều thư viện chọn chiều ngược lại, nên luôn kiểm tra định nghĩa trước khi dùng công thức từ nơi khác.

Ba ô chuẩn bị cùng một bài toán

2A lấy e cùng shape với z và một t cho mỗi ảnh. 2B tạo z_t; 2E dùng z và e gốc tạo u. 2D dự đoán từ đầu vào bị che hai đầu; 3A mới so dự đoán với u. Dù một cặp có u không đổi theo t, nhiều cặp đi qua vùng gần nhau có hướng khác nhau; trường học được là dự đoán trung bình có điều kiện, không phải ghi nhớ một đường thẳng duy nhất.

Lịch nhiễu và cách lấy t là hai quyết định

Lịch nhiễu xác định hệ số ảnh và nhiễu dọc đường, còn phân phối lấy t xác định vùng được gặp thường xuyên khi học. Lab dùng t đều; công thức khác có thể lấy t từ hàm sigmoid (nén một số thực về khoảng 0–1) của biến Gaussian, gọi là logit-normal để nhấn vùng giữa. Nếu đổi cách lấy t mà muốn giữ nguyên kỳ vọng của objective cũ, cần trọng số bù theo xác suất lấy mẫu phù hợp; nếu không, bạn đang đổi objective.

Trong diffusion kiểu bảo toàn phương sai (VP, variance-preserving), trạng thái nhiễu thường viết z_t = α_t·z + σ_t·e với α_t là hệ số tín hiệu sạch, σ_t là hệ số nhiễu và α_t²+σ_t²=1 để giữ phương sai ổn định khi z và e chuẩn hóa. Đường thẳng của lab có hệ số (1−t) cho nhiễu và t cho ảnh sạch, tổng bình phương (1−t)²+t² nhỏ hơn 1 ở khoảng giữa nên không thỏa quy tắc VP nói chung. Không trộn lịch VP với target hoặc sampler của flow chỉ vì cùng dùng chữ t.

Chạy giai đoạn 2 của Bài Lab tổng hợp: hai đầu lệch 0, t đầu 0,022645 và u đầu −1,423406. Tại sao u âm vẫn đúng? Pixel sạch thấp hơn pixel nhiễu; hướng từ nhiễu về sạch phải giảm tọa độ ấy.

4Profiling

• Kiểm tra đường và đạo hàm

  Kiểm tra t=0 ra e, t=1 ra z, và sai phân [z_(t+h)−z_(t−h)]/(2h) khớp z−e. Làm trước khi đánh giá loss; dấu sai có thể vẫn cho loss giảm nếu sampler cũng sai mục tiêu khác.

• Loss theo khoảng thời gian

  Giữ tập kiểm định và chia t thành các khoảng để xem vùng nào khó. Không so hai scalar loss khi phân phối t hoặc trọng số loss khác nhau mà coi chúng cùng thước đo.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Trường vận tốc

Hàm cho một vector hướng và độ lớn tại mỗi trạng thái, thời gian, điều kiện.

Lấy mẫu timestep

Rút t trong vòng học để chọn trạng thái mà mô hình phải giải.

7Bài liên quan

8Nguồn