Điều kiện chữ: encoder cung cấp tín hiệu cho mô hình sinh

1Định nghĩa

Điều kiện chữ là biểu diễn số của chú thích được đưa thêm vào denoiser để hướng ảnh sinh tới nội dung yêu cầu. Text encoder tạo tín hiệu này; denoiser mới là bộ phận được dạy biến nhiễu thành ảnh trong vòng học của khóa.

Token của câu đi qua encoder thành các vector theo vị trí, có thể kèm vector gộp toàn câu; DiT, Transformer xử lý latent ảnh trộn thông tin chữ và ảnh bằng cơ chế phù hợp kiến trúc. Cùng ảnh nhiễu và thời gian, thay điều kiện có thể làm dự đoán vận tốc đổi.

Ví dụ đời thường: Điều kiện chữ giống phiếu yêu cầu gửi vào xưởng vẽ, còn denoiser là quy trình thực hiện. Phiếu mô tả giúp chọn nội dung, nhưng tự tờ phiếu không tạo ra tranh; ở lab phiếu chỉ có hai ô ngang/dọc nên không thể diễn đạt một cảnh phức tạp.

2Luồng

Mã 1D khớp sơ đồ Tab 01. Giai đoạn 1 khớp Tab 02; ánh xạ không có nghĩa mọi kỹ thuật của ô đều được triển khai trong lab.

Sơ đồ kiến trúc huấn luyện · 24 ô (1A → 5D)

Kiến trúc huấn luyện LLM · Ánh xạ với Bài Lab tổng hợp

Bắt đầu 1A → 1B, tách ảnh sang 1C và chữ sang 1D. Cột 2 tạo trạng thái nhiễu, điều kiện và target để 2D dự đoán; 3A → 3D chấm và sửa trọng số. next batch lặp về dữ liệu, load weights xuống 5A → 5D để sampling không gradient. Cột 4 là các lựa chọn, không phải chuỗi bước bắt buộc. Liên kết Lab trong pop-over nêu phần thực thi và phần chỉ giải thích.

Tất cả (24)1. Dữ liệu & điều kiện2. Tạo đề & dự đoán3. Học & lưu4. Quy mô & phương pháp5. Suy luận

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E4F4G5A5B5C5D

1D1 · Dữ liệu và điều kiện

caption → encoder chữ → c

1D · Điều kiện chữ

Đổi mô tả thành điều kiện số để denoiser chọn nội dung cần sinh.

Nhận gì

Chú thích của cùng cặp ảnh từ 1B, không phải latent ra từ 1C.

Làm gì, vì sao

Tokenizer cắt chữ thành token; encoder chữ tạo vector điều kiện c, có thể đọc bằng attention trong denoiser.

Ra gì

Điều kiện sang 2C để đôi lúc thay bằng rỗng, rồi vào 2D cùng ảnh nhiễu và thời gian.

Ví dụ, cách đọc ô

Lab chỉ tra ngang→[1,0], dọc→[0,1]; rỗng→[0,0], không có mô hình hiểu ngôn ngữ.

Lưu ý

ViT/CLIP/VLM chỉ là bối cảnh điều kiện hóa; khóa không huấn luyện sâu encoder hiểu ảnh.

Đọc bài 1D · Điều kiện chữ↗Lab 1 · Cặp ảnh và điều kiện — Bảng tra hai nhãn thay text encoder.↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi và nối hệ thống"]
  step3["Đối chiếu thực hành"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Vị trí trên sơ đồ: 1D. Tiền đề: biết tensor/attention từ LLM Foundations và loss, gradient, AdamW từ LLM Training (Text); phần dưới nhắc lại kiến thức cần dùng tại chỗ.

Nhắc lại embedding và attention

Embedding là vector số biểu diễn một token. Attention dùng độ khớp giữa các vector để trộn thông tin từ vị trí khác; với cross-attention, query của ảnh có thể đọc key/value của chữ. Một số kiến trúc dùng attention chung trên chuỗi ảnh và chữ, nên không mặc định mọi DiT đều dùng cùng một cách nối.

Hợp đồng đầu vào

Giữ đúng tokenizer, giới hạn độ dài, mặt nạ phần đệm và phiên bản encoder của checkpoint. Nếu cắt mất cuối câu thì điều kiện có thể không còn chứa yêu cầu chính. Ô 1D nhận chú thích của cặp đã lọc; nó không nhận latent của 1C. Hai nhánh gặp nhau tại 2D cùng với thời gian.

Trong thiết kế giảng dạy này encoder giữ cố định để tách bài toán; một công thức fine-tuning có thể học cả encoder nhưng phải khai báo và kiểm định riêng. CLIP có nhánh chữ và ảnh; ViT biến mảnh ảnh thành vector; VLM liên kết ảnh/chữ. Chúng xuất hiện để giải thích nguồn điều kiện, không có bài học huấn luyện sâu encoder hiểu ảnh ở khóa này.

Giữ cùng cách biểu diễn null

Ô 2C thực hiện bỏ điều kiện cho CFG. Null trong hệ thật có thể là embedding của chuỗi rỗng, không nhất thiết tensor zero; huấn luyện và suy luận phải dùng cùng quy ước. Nếu cache embedding, phải giữ khả năng thay đúng bằng null khi lấy batch.

Giai đoạn 1 và 7 của Bài Lab tổng hợp dùng [1,0], [0,1] và [0,0]. Đây là bảng tra lớp cố định, đủ kiểm tra điều kiện ảnh hưởng dự đoán nhưng không có tokenizer hoặc mô hình ngôn ngữ.

4Profiling

• Kiểm tra tác động điều kiện

  Cố định latent nhiễu, thời gian và trọng số, đổi đúng phần điều kiện rồi đo độ lệch đầu ra. Khác nhau chứng tỏ mô hình dùng tín hiệu, chưa chứng tỏ hiểu đầy đủ câu hoặc đúng quan hệ giữa vật thể.

• Độ dài và phần đệm

  Thử câu bị cắt, câu rỗng và câu có phần đệm với mask đúng. Tách chi phí encoder khỏi số lượt denoiser khi báo thời gian; bài này chưa đo thời gian trên GPU.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Conditioning

Tín hiệu phụ cho mạng dự đoán ngoài trạng thái nhiễu và thời gian.

Null condition

Biểu diễn điều kiện rỗng nhất quán giữa học và lấy mẫu.

7Bài liên quan

8Nguồn