Chưng cất ít bước: học thay đổi quỹ đạo lấy mẫu

1Định nghĩa

Few-step distillation là huấn luyện một mô hình student để sinh kết quả tương ứng với nhiều bước của teacher bằng ít lần dự đoán hơn. Mục tiêu là thay đổi mô hình hoặc ánh xạ bước, không chỉ giảm con số bước trong sampler hiện có.

Teacher thường giữ cố định và tạo các cặp trạng thái dọc quỹ đạo; student học đi từ trạng thái đầu tới trạng thái đích của bước lớn. Euler ít bước trên checkpoint chưa chưng cất dùng cùng trường vận tốc cũ, nên nó là đối chứng khác với student đã học.

Ví dụ đời thường: Người hướng dẫn biết một tuyến đường nhiều chặng dạy học viên cách đi ít chặng mà vẫn tới đích. Bỏ bớt chặng trong hướng dẫn cũ không tự cung cấp cách rẽ mới; tương tự, sampler ít bước cần được đánh giá thay vì gọi ngay là chưng cất.

2Luồng

Mã 4F khớp sơ đồ Tab 01. Giai đoạn 10 khớp Tab 02; ánh xạ không có nghĩa mọi kỹ thuật của ô đều được triển khai trong lab.

Sơ đồ kiến trúc huấn luyện · 24 ô (1A → 5D)

Kiến trúc huấn luyện LLM · Ánh xạ với Bài Lab tổng hợp

Bắt đầu 1A → 1B, tách ảnh sang 1C và chữ sang 1D. Cột 2 tạo trạng thái nhiễu, điều kiện và target để 2D dự đoán; 3A → 3D chấm và sửa trọng số. next batch lặp về dữ liệu, load weights xuống 5A → 5D để sampling không gradient. Cột 4 là các lựa chọn, không phải chuỗi bước bắt buộc. Liên kết Lab trong pop-over nêu phần thực thi và phần chỉ giải thích.

Tất cả (24)1. Dữ liệu & điều kiện2. Tạo đề & dự đoán3. Học & lưu4. Quy mô & phương pháp5. Suy luận

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E4F4G5A5B5C5D

4F4 · Quy mô và phương pháp

quỹ đạo teacher → student ít bước

4F · Chưng cất ít bước

Học ánh xạ thay nhiều bước teacher bằng ít lần dự đoán hơn.

Nhận gì

Teacher cố định và các trạng thái hoặc cặp nhiễu–ảnh tạo theo công thức chưng cất.

Làm gì, vì sao

Student học bước lớn hoặc đầu ra nhất quán dọc quỹ đạo; target/loss phụ thuộc consistency hay flow distillation.

Ra gì

Checkpoint student và sampler tương thích, cần so chất lượng lẫn số lần gọi denoiser.

Ví dụ, cách đọc ô

Lab so Euler 8/2/64 bước cùng checkpoint; không hề tối ưu student mới.

Lưu ý

Sampler ít bước chưa phải distillation; consistency có cả nhánh học trực tiếp không dùng teacher.

Đọc bài 4F · Chưng cất ít bước↗Lab 10 · Quy mô và ranh giới phương pháp — Chỉ giải thích; sampler ít bước chưa chưng cất.↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi và nối hệ thống"]
  step3["Đối chiếu thực hành"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Vị trí trên sơ đồ: 4F. Tiền đề: biết tensor/attention từ LLM Foundations và loss, gradient, AdamW từ LLM Training (Text); phần dưới nhắc lại kiến thức cần dùng tại chỗ.

Nhắc lại trường và bộ tích phân

Trường vận tốc là hàm mạng, bộ tích phân là quy tắc dùng hàm đó để cập nhật trạng thái. Một teacher có thể là cặp mạng và sampler cố định. Progressive distillation dạy student thay hai bước teacher bằng một rồi lặp giảm bước; cần thống nhất lịch, loại dự đoán và điều kiện để tạo target.

Consistency và flow distillation

Consistency model học ánh xạ các điểm trên cùng quỹ đạo về cùng đầu ra gần sạch, với điều kiện biên ở mức nhiễu thấp: tại đầu ấy ánh xạ giữ chính đầu vào thay vì tự thay nó bằng ảnh khác. Có thể chưng cất từ teacher hoặc huấn luyện trực tiếp theo một công thức consistency; không nên nói mọi consistency model đều cần teacher. Target thường được chặn gradient hoặc lấy từ bản trung bình, tùy công thức.

Flow distillation có thể học bước lớn từ quỹ đạo flow teacher; reflow ghép nhiễu và ảnh do teacher tạo để học lại đường dễ tích phân hơn. Target, số lần gọi teacher và việc guidance được chưng cất vào student phải ghi rõ. Không lấy KL trên token từ bài distillation văn bản rồi áp nguyên vào tensor vận tốc và coi là cùng objective.

Bài thực hành nào thực sự được chạy

Trong Bài Lab tổng hợp, giai đoạn 9 chạy 8 bước và đối chiếu 64 bước của cùng checkpoint; biến thể 2 bước cũng dùng checkpoint ấy. Giai đoạn 10 ghi rõ không huấn luyện student. Vì vậy các số lab minh họa sai số tích phân và cách so cùng nhiễu, không chứng minh distillation giữ chất lượng.

4Profiling

• So cùng yêu cầu lấy mẫu

  Đánh giá teacher nhiều bước, teacher giảm bước và student ít bước với cùng bộ prompt/seed, resolution và CFG tương thích. Đếm số lần gọi denoiser, rồi đo thời gian thực, vì một bước có thể chứa hai nhánh CFG.

• Sai lệch và chất lượng

  Đo độ lệch quỹ đạo/đầu ra với teacher cùng đánh giá bám chữ và đa dạng. Student giống teacher trên vài mẫu chưa chứng minh giữ phân phối hoặc tốt hơn teacher.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Teacher/student

Mô hình cung cấp mục tiêu và mô hình học bắt chước theo objective đã chọn.

Consistency

Ràng buộc đầu ra tương ứng trên cùng quỹ đạo nhiễu–sạch.

7Bài liên quan

8Nguồn