Học nền: từ độ phân giải thấp tới cao

1Định nghĩa

Pretraining sinh ảnh là giai đoạn học quan hệ hình ảnh–mô tả rộng từ nhiều cặp dữ liệu để tạo checkpoint nền. Lộ trình từ độ phân giải thấp tới cao cho mô hình học cấu trúc tổng quát trước rồi dành thêm chi phí cho chi tiết.

Mỗi giai đoạn vẫn dùng tạo nhiễu và mục tiêu cùng forward/loss/backward; thay kích thước ảnh làm đổi lưới latent và số token. Ngân sách bộ nhớ và tập kiểm định phải được cập nhật theo kích thước mới, còn VAE có thể tiếp tục giữ cố định.

Ví dụ đời thường: Học vẽ bắt đầu từ bố cục trên giấy nhỏ rồi luyện chi tiết trên khổ lớn. Cầm giấy lớn hơn không tự làm bố cục tốt; tương tự, nâng độ phân giải cần dữ liệu và kiểm định phù hợp.

2Luồng

Mã 4B khớp sơ đồ Tab 01. Giai đoạn 10 khớp Tab 02; ánh xạ không có nghĩa mọi kỹ thuật của ô đều được triển khai trong lab.

Sơ đồ kiến trúc huấn luyện · 24 ô (1A → 5D)

Kiến trúc huấn luyện LLM · Ánh xạ với Bài Lab tổng hợp

Bắt đầu 1A → 1B, tách ảnh sang 1C và chữ sang 1D. Cột 2 tạo trạng thái nhiễu, điều kiện và target để 2D dự đoán; 3A → 3D chấm và sửa trọng số. next batch lặp về dữ liệu, load weights xuống 5A → 5D để sampling không gradient. Cột 4 là các lựa chọn, không phải chuỗi bước bắt buộc. Liên kết Lab trong pop-over nêu phần thực thi và phần chỉ giải thích.

Tất cả (24)1. Dữ liệu & điều kiện2. Tạo đề & dự đoán3. Học & lưu4. Quy mô & phương pháp5. Suy luận

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E4F4G5A5B5C5D

4B4 · Quy mô và phương pháp

nhiều cặp ảnh · lộ trình độ phân giải

4B · Học nền thấp tới cao

Lập giai đoạn học nền với dữ liệu rộng và tăng độ phân giải có kiểm định.

Nhận gì

Dữ liệu rộng ở 1A–1B, denoiser khởi tạo và encoder có thể đã học trước.

Làm gì, vì sao

Dùng vòng cột 1–3 ở ảnh nhỏ rồi chuyển ảnh lớn khi phù hợp; cập nhật bucket, batch và số token theo chi phí.

Ra gì

Checkpoint nền để dùng chung hoặc chuyển sang fine-tuning ở 4C.

Ví dụ, cách đọc ô

Giấy nhỏ giúp học bố cục trước; tăng số pixel chỉ hữu ích khi nguồn có chi tiết đáng học.

Lưu ý

Cột 4 là lựa chọn, không chuỗi bắt buộc; lab giữ ảnh 4×4 nên không kiểm chứng curriculum.

Đọc bài 4B · Học nền thấp tới cao↗Lab 10 · Quy mô và ranh giới phương pháp — Chỉ giải thích; không đổi độ phân giải.↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi và nối hệ thống"]
  step3["Đối chiếu thực hành"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Vị trí trên sơ đồ: 4B. Tiền đề: biết tensor/attention từ LLM Foundations và loss, gradient, AdamW từ LLM Training (Text); phần dưới nhắc lại kiến thức cần dùng tại chỗ.

Nhắc lại checkpoint nền

Mô hình nền là điểm khởi đầu dùng lại cho nhiều mục đích; trong latent diffusion, denoiser có thể bắt đầu ngẫu nhiên còn VAE/text encoder đã học trước. Vì vậy “pretraining denoiser” không luôn có nghĩa mọi thành phần trong hệ đều học từ zero.

Lập giai đoạn có tiêu chí chuyển

Bắt đầu với ảnh nhỏ và caption đủ mô tả nội dung, giữ tập kiểm định theo nguồn. Sau khi vòng học ổn định, tăng độ phân giải và điều chỉnh bucket, batch cùng learning rate theo ngân sách. So cùng kích thước khi quyết định checkpoint nào tốt hơn; loss ở hai stage có phân phối ảnh/t khác nhau không là một đường duy nhất dễ so.

Ảnh nguồn độ phân giải thấp phóng to không tự tạo chi tiết thật. Kiểm tra ảnh nguồn, chất lượng chú thích và mức giữ cấu trúc sau crop. Curriculum là lộ trình dạy được lựa chọn, không quy luật bắt buộc cho mọi hệ; các mô hình có thể học đa độ phân giải hoặc tách giai đoạn theo mục tiêu khác.

Giới hạn thực hành

Ô 4B là một lựa chọn dùng lại cột 1–3, không phải bước sau mixed precision. Trong Bài Lab tổng hợp, giai đoạn 6 học từ đầu một denoiser trên nét hình học; giai đoạn 10 nói rõ không đổi độ phân giải, nên không dùng số của nó để chứng minh lộ trình thấp→cao hiệu quả.

4Profiling

• Theo dõi độ phủ

  Đếm dữ liệu, bucket và loại prompt được gặp ở từng stage; giữ lịch sử phiên bản. Kiểm định cả bám chữ và chi tiết, không chỉ loss train.

• So chi phí có điều kiện

  Báo tổng số mẫu, lượt cập nhật, độ phân giải và tài nguyên từng stage. Đừng so thời gian hai stage với batch hoặc GPU khác nhau rồi quy toàn bộ chênh lệch cho curriculum.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Resolution curriculum

Lộ trình thay đổi độ phân giải trong các giai đoạn học.

Pretraining

Học checkpoint nền trước khi chuyên biệt hóa cho một miền hoặc chủ thể.

7Bài liên quan

8Nguồn