Tinh chỉnh miền: giữ nền và học dữ liệu mới

1Định nghĩa

Fine-tuning sinh ảnh là tiếp tục cập nhật một checkpoint đã học để thích nghi với dữ liệu hoặc yêu cầu mới. Nó khác pretraining ở điểm khởi đầu và phạm vi dữ liệu, không nhất thiết dùng loss hoàn toàn khác.

Từ checkpoint nền, giữ hợp đồng VAE, encoder chữ, lịch nhiễu và target, rồi học trên cặp ảnh–chú thích miền đích. Có thể học toàn denoiser hoặc chỉ adapter LoRA; lựa chọn tham số là quyết định tách biệt với mục tiêu miền.

Ví dụ đời thường: Họa sĩ đã biết vẽ cảnh học thêm phong cách minh họa sách. Nếu chỉ chép vài trang, người ấy có thể quên tính linh hoạt của nền; mô hình cũng cần kiểm tra cả miền mới lẫn các yêu cầu cũ.

2Luồng

Mã 4C khớp sơ đồ Tab 01. Giai đoạn 10 khớp Tab 02; ánh xạ không có nghĩa mọi kỹ thuật của ô đều được triển khai trong lab.

Sơ đồ kiến trúc huấn luyện · 24 ô (1A → 5D)

Kiến trúc huấn luyện LLM · Ánh xạ với Bài Lab tổng hợp

Bắt đầu 1A → 1B, tách ảnh sang 1C và chữ sang 1D. Cột 2 tạo trạng thái nhiễu, điều kiện và target để 2D dự đoán; 3A → 3D chấm và sửa trọng số. next batch lặp về dữ liệu, load weights xuống 5A → 5D để sampling không gradient. Cột 4 là các lựa chọn, không phải chuỗi bước bắt buộc. Liên kết Lab trong pop-over nêu phần thực thi và phần chỉ giải thích.

Tất cả (24)1. Dữ liệu & điều kiện2. Tạo đề & dự đoán3. Học & lưu4. Quy mô & phương pháp5. Suy luận

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E4F4G5A5B5C5D

4C4 · Quy mô và phương pháp

checkpoint nền + dữ liệu miền đích

4C · Tinh chỉnh miền

Tiếp tục học từ mô hình nền để thích nghi yêu cầu mới, theo dõi cả miền cũ.

Nhận gì

Checkpoint nền và cặp ảnh–chú thích mới đã chia kiểm định theo nguồn/chủ thể.

Làm gì, vì sao

Dùng lại vòng hồi quy, chọn học toàn denoiser hoặc adapter và kiểm tra khả năng nền có bị quên không.

Ra gì

Checkpoint chuyên biệt cho miền, so baseline bằng cùng prompt/seed trước khi chọn.

Ví dụ, cách đọc ô

Lab chỉ có nhánh LoRA chuyển nét mảnh sang nét dày ở khối 8; không full fine-tuning riêng.

Lưu ý

Loss train giảm chưa chứng minh bối cảnh mới đúng; phần full fine-tuning chỉ được giải thích.

Đọc bài 4C · Tinh chỉnh miền↗Lab 10 · Quy mô và ranh giới phương pháp — Tinh chỉnh miền nét dày bằng LoRA ở khối 8; không full fine-tuning.↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi và nối hệ thống"]
  step3["Đối chiếu thực hành"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Vị trí trên sơ đồ: 4C. Tiền đề: biết tensor/attention từ LLM Foundations và loss, gradient, AdamW từ LLM Training (Text); phần dưới nhắc lại kiến thức cần dùng tại chỗ.

Nhắc lại rò rỉ và baseline

Đầu tiên sinh ảnh từ checkpoint gốc với bộ prompt miền đích và bộ prompt kiểm tra nền. Tách ảnh kiểm định theo chủ thể hoặc nguồn, không để crop của cùng ảnh nằm ở hai tập. Dữ liệu ít làm loss train đẹp rất nhanh nhưng chưa nói mô hình giữ được nội dung ở bối cảnh mới.

Giữ một hợp đồng kỹ thuật

Kiểm tra prediction type, scale latent, biểu diễn null và encoder của checkpoint trước khi học tiếp. Đổi encoder khi vẫn dùng latent/text embedding cache cũ có thể tạo đầu vào không tương thích. Bắt đầu bằng khả năng tái tạo baseline trên một batch nhỏ để tránh đổ lỗi cho dữ liệu mới khi cấu hình đã sai.

Chọn full fine-tuning khi cần nhiều tự do và đủ ngân sách; chọn LoRA khi muốn giảm trạng thái gradient/optimizer của tham số nền. Learning rate nhỏ hơn chỉ là điểm xuất phát thường thử, không bảo đảm tránh quên; kiểm định theo tiến trình để chọn số bước và xem có cần trộn dữ liệu nền hay dừng sớm.

Khóa học thực thi tới đâu

Trong Bài Lab tổng hợp, giai đoạn 8 dùng LoRA chuyển từ nét mảnh sang nét dày. Nó minh họa tinh chỉnh một miền số học nhỏ; ô 4C ở giai đoạn 10 không có một lần full fine-tuning độc lập hay đánh giá ảnh tự nhiên.

4Profiling

• Hai bộ kiểm định

  Đo loss và sinh ảnh cùng prompt/seed ở miền đích và miền nền trước/sau. Nếu miền đích tốt lên nhưng nền hỏng, cần báo đánh đổi thay vì chỉ gọi là cải thiện chung.

• Tỉ lệ tham số và chi phí

  Báo tham số học được, dung lượng optimizer, bước học và batch; không suy ra peak GPU hay tốc độ từ số tham số adapter đơn thuần.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Catastrophic forgetting

Việc học dữ liệu mới làm suy giảm khả năng đã có ở miền cũ.

Full fine-tuning

Cập nhật toàn bộ tham số được chọn của denoiser thay vì chỉ adapter nhỏ.

7Bài liên quan

8Nguồn