Ảnh–chú thích: lọc dữ liệu và ghép nhóm khung hình

1Định nghĩa

Dữ liệu huấn luyện sinh ảnh là tập cặp gồm một ảnh và chú thích mô tả nội dung cần sinh, thay vì dãy token có nhãn là token kế tiếp. Chất lượng cặp quyết định mô hình học quan hệ nào giữa câu mô tả và cấu trúc ảnh.

Ảnh được giải mã, kiểm tra kích thước và ghép với đúng chú thích trước khi chia tập huấn luyện/kiểm định. Ảnh đi qua VAE, bộ mã hóa nén ảnh; chữ đi qua bộ mã hóa điều kiện chữ, tạo hai đầu vào khác nhau cho cùng bước học.

Ví dụ đời thường: Bộ ảnh và lời chú thích giống bộ thẻ học có hình ở một mặt và mô tả ở mặt kia. Nếu tráo mặt chữ giữa hai thẻ, người học ghi nhớ liên hệ sai dù từng tấm hình đều sắc nét; phép so sánh không có nghĩa mô hình hiểu thẻ theo cách con người hiểu.

2Luồng

Mã 1A, 1B khớp sơ đồ Tab 01. Giai đoạn 1 khớp Tab 02; ánh xạ không có nghĩa mọi kỹ thuật của ô đều được triển khai trong lab.

Sơ đồ kiến trúc huấn luyện · 24 ô (1A → 5D)

Kiến trúc huấn luyện LLM · Ánh xạ với Bài Lab tổng hợp

Bắt đầu 1A → 1B, tách ảnh sang 1C và chữ sang 1D. Cột 2 tạo trạng thái nhiễu, điều kiện và target để 2D dự đoán; 3A → 3D chấm và sửa trọng số. next batch lặp về dữ liệu, load weights xuống 5A → 5D để sampling không gradient. Cột 4 là các lựa chọn, không phải chuỗi bước bắt buộc. Liên kết Lab trong pop-over nêu phần thực thi và phần chỉ giải thích.

Tất cả (24)1. Dữ liệu & điều kiện2. Tạo đề & dự đoán3. Học & lưu4. Quy mô & phương pháp5. Suy luận

Ẩn khung overlay

1A1B1C1D2A2B2C2D2E3A3B3C3D4A4B4C4D4E4F4G5A5B5C5D

1A1 · Dữ liệu và điều kiện

ảnh + mô tả → một cặp dữ liệu

1A · Cặp ảnh–chú thích

Điểm bắt đầu: nối đúng ảnh với mô tả để học quan hệ giữa chữ và nội dung ảnh.

Nhận gì

Ảnh và chú thích mô tả nội dung cần sinh, trước khi tạo nhiễu.

Làm gì, vì sao

Giữ định danh và nguồn của từng cặp; kiểm tra chữ còn đúng với ảnh để tránh dạy quan hệ sai.

Ra gì

Cặp dữ liệu đi tới 1B để lọc, chia kiểm định và ghép batch.

Ví dụ, cách đọc ô

Một ảnh nét ngang đi cùng nhãn ngang; tráo nhãn dọc làm sai bài toán dù ảnh không hỏng.

Lưu ý

Lab chỉ có ảnh hình học tự tạo; không chứng minh độ phủ dữ liệu ảnh tự nhiên.

Đọc bài 1A · Cặp ảnh–chú thích↗Lab 1 · Cặp ảnh và điều kiện — Ảnh tổng hợp được tạo thật; không tải ảnh tự nhiên.↗

flowchart TD
  step1["Nhận đầu vào"]
  step2["Biến đổi và nối hệ thống"]
  step3["Đối chiếu thực hành"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Vị trí trên sơ đồ: 1A, 1B. Tiền đề: biết tensor/attention từ LLM Foundations và loss, gradient, AdamW từ LLM Training (Text); phần dưới nhắc lại kiến thức cần dùng tại chỗ.

Nhắc lại batch và kiểm định

Batch là nhóm mẫu tính cùng một lượt. Kiểm định dùng ảnh chưa học để theo dõi khả năng chuyển sang dữ liệu cùng loại. Tách theo nguồn hoặc chủ thể trước khi tạo biến thể; cùng một ảnh đổi crop vẫn có thể làm rò rỉ từ train sang kiểm định. Ghi lại nguồn, quyền sử dụng, phiên bản lọc và mã định danh để tái tạo tập dữ liệu.

Từ cặp thô tới hai nhánh

Ở 1A kiểm tra ảnh đọc được và chú thích còn đúng sau crop. Ở 1B loại bản trùng chính xác hoặc gần trùng, ảnh hỏng, và cặp sai mô tả; bộ lọc tự động chỉ cung cấp tín hiệu nên cần kiểm tra mẫu bị giữ/bị loại. Không coi điểm tương đồng tự động là sự thật tuyệt đối về chất lượng hay ngữ nghĩa.

Aspect bucket là nhóm ảnh có tỉ lệ rộng/cao gần nhau và kích thước đích chung. Resize rồi crop vào bucket giúp xếp tensor thành batch mà ít cắt mất vật thể hơn việc ép mọi ảnh về hình vuông; vẫn phải lưu phép crop và cập nhật chú thích nếu mất đối tượng. Text encoder không nhận các pixel đã crop.

Điều kiện rỗng không phải dữ liệu lỗi

Caption dropout cố ý thay một phần điều kiện bằng rỗng để học CFG, cách trộn dự đoán có và không điều kiện; nó diễn ra sau lọc cặp và không hợp thức hóa chú thích sai. Hai nhánh 1C và 1D cùng lấy từ cặp đã lọc, không nối latent của 1C vào bộ mã hóa chữ của 1D.

Trong Bài Lab tổng hợp, giai đoạn 1 tạo ảnh nét ngang/dọc và bảng nhãn cố định. Đây là dữ liệu sinh tổng hợp: lab không triển khai bộ lọc web, khử gần trùng hay aspect buckets; ảnh đều 4×4.

4Profiling

• Độ đúng trước thông lượng

  Đối chiếu thủ công ảnh trước/sau crop và chú thích; kiểm tra mã ảnh có xuất hiện ở cả train/kiểm định không. Sau đó mới đo mẫu/giây ở cùng bucket và cùng số worker; không có số tăng tốc được đo trong bài này.

• Phân bố sau lọc

  Đếm số cặp theo nguồn, bucket và nhãn trước/sau lọc. Tập sạch hơn nhưng mất hết một loại nội dung có thể tạo thiên lệch; tỉ lệ giữ lại không tự chứng minh chất lượng.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Aspect bucket

Nhóm ảnh gần tỉ lệ khung hình, dùng chung kích thước đích trong một batch.

Dedup

Loại các bản trùng hoặc gần trùng để tránh lặp dữ liệu và rò rỉ kiểm định.

7Bài liên quan

8Nguồn