3A · 3D Axial RoPE (16, 56, 56) & Lưới tọa độ tâm không (Zero-Centered Grid)

1Định nghĩa

Bài 3A là khối gắn địa chỉ cho attention: RoPE (Rotary Position Embedding) gắn vị trí bằng phép xoay hoặc hãy nói thay vì cộng một vector vị trí cộng thêm, attention xoay cặp chiều của Q và K theo góc tỷ lệ với vị trí; do tích của hai vector xoay chỉ phụ thuộc chênh lệch góc, attention đọc được khoảng cách tương đối giữa hai token. DiT 2.1 cần vị trí không gian nên dùng QwenImage21Rope với ba trục đi sẵn: cắt 128 chiều của mỗi đầu (attention_head_dim = 128) thành ba dải (16, 56, 56) — axes_dims_rope — tương ứng frame, height, width.

Về cơ chế, hai kiểu địa chỉ cùng tồn tại trong một chuỗi: token chữ tăng đều cả ba trục — meaning đi trong hành lang như leo thang, mỗi bước cộng đồng dề +1 cho từng trục; token ảnh, nhận diện bằng image_ids từ bài 2A, tuân theo lưới 3D: frame_index đứng yên trên toàn khối ảnh (một ảnh một 'tầng'), hai trục space đánh số quanh tâm (0, 0): height_index chạy từ −(H − H//2) đến H//2 − 1, width_index tương tự với W — ví dụ H = 4 cho bốn giá trị (−2, −1, 0, 1). Lý do chọn tâm: nếu đánh số ảnh từ đầu lưới như chữ, tọa độ token ảnh sẽ trôi theo độ dài phần chữ đứng trước; lưới tâm giữ tọa độ trong khối ảnh phụ thuộc nội dung ảnh chứ không phụ thuộc vị trí trong chuỗi. Kết quả được áp vào phép xoay của bài 4A và phối hợp với bài 3C cùng khối.

Ví dụ đời thường: 3A giống toà khách sạn có ba loại tọa độ: số tầng (frame), hàng phòng (height) và cột phòng (width). Khu chữ là hành lang chạy suốt toà: mỗi bước treo biển leo một tầng và dịch một ô cả ba chiều; khu ảnh là từng phòng riêng — dù phòng nằm ở tầng nào, mọi vật trong phòng vẫn đánh tọa độ quanh tâm phòng, chẳng hạn hàng từ −2 đến 1. Nhờ đó, độ dài bài thuyết trình trước phòng (độ dài prompt) không làm ghế trong phòng xê dịch. Giới hạn của phép so: RoPE chỉ gắn vị trí chứ không gắn nội dung; nội dung nằm trong token 4096 chiều.

2Luồng

Cách đọc hình (Cột 2, khối 3A trên đỉnh cột): nhận chuỗi đồng nhất cùng metadata image_ids từ khối 2A, chia 128 chiều mỗi đầu thành ba dải (16, 56, 56), gán token chữ đi thẳng ba trục còn token ảnh dùng lưới tâm (0, 0); bảng tọa độ chảy xuống cùng Cột 2 cho khối 3B (mức nhiễu) và khối 3C (mặt nạ), hoặc trực tiếp tới attention ở Cột 3; xem bước [3A] trong [Bài Lab tổng hợp Qwen-Image-2.1](/courses/qwen-image-2-1/qwen21-lab/qwen21-end-to-end-lab/).

Sơ đồ luồng dữ liệu 4 cột · 10 thành phần (1A → 6B)

Kiến trúc Qwen-Image-2.1 & Ánh xạ 1:1 với Bài Lab tổng hợp

Bắt đầu từ 1A ở góc dưới Cột 1 đi lên 1B → 2A, sang Cột 2 (3A → 3B → 3C), qua Cột 3 (4A ↔ 6A) và kết thúc ở Cột 4 (5A → 6B). Di chuột hoặc bấm vào từng khối để xem pop-over và đối chiếu với Lab.

Tất cả (10)1. RGBA VAE, VLM & Packing2. 3D RoPE, t=0 & Block Mask3. Single-Stream & KV Cache4. SwiGLU & 8-Step Euler

Ẩn khung overlay

1A1B2A3A3B3C4A6A5A6B

3A2 · 3D RoPE, Dual-t AdaLN & Block Mask

axes_dims_rope = (16, 56, 56) · Text: f=h=w++ · Image: freeze f, center (h, w) ∈ [-H/2..H/2, -W/2..W/2)

3A · 3D Axial RoPE (16, 56, 56)

Gắn địa chỉ cho từng token: mỗi token biết mình đứng ở đâu theo 3 trục (ảnh thứ mấy, hàng, cột) thông qua phép xoay RoPE áp lên Q và K.

Mục đích

Attention tự nó không biết thứ tự hay vị trí. Với ảnh, mô hình cần biết điểm nào nằm trên, dưới, trái, phải điểm nào. Căn tâm lưới ảnh về (0, 0) giúp tọa độ bên trong ảnh không bị xê dịch dù prompt phía trước dài hay ngắn.

Đầu vào

Nhãn image_ids từ 2A và kích thước lưới (H, W) của từng ảnh. 128 chiều của mỗi head được chia thành 3 dải (16, 56, 56) cho 3 trục.

Đầu ra

Bảng góc xoay cos/sin cho từng vị trí: token chữ tăng đều cả 3 trục; token ảnh giữ cố định trục frame và đánh số hàng/cột từ −H/2 đến H/2. Bảng này được áp lên Q, K trong cả 32 lớp ở 4A.

Mũi tên từ 2A sang 3A ở đầu Cột 2: QwenImage21Rope chia 128 chiều mỗi head thành 16 chiều cho trục thứ tự khung (Frame), 56 chiều cho chiều cao (Height) và 56 chiều cho chiều rộng (Width). Các token chữ tăng đều trên cả 3 trục; nhưng khi gặp một khối ảnh, trục Frame được ghim cố định còn lưới (Height, Width) được đánh số đối xứng quanh tâm (0, 0) từ -H/2 đến +H/2 giúp bố cục không gian của ảnh hoàn toàn độc lập với độ dài câu lệnh đứng trước.

Bài 3A · 3D Axial RoPE (16, 56, 56) & Zero-Centered Grid↗Xem bước [3A] trong Bài Lab tổng hợp↗

flowchart TD
  step1["3A · Chia 128 chiều ba dải"]
  step2["3A · Chữ đi thẳng, ảnh về tâm"]
  step3["3A · Áp vào attention"]
  step1 --> step2
  step2 --> step3

3Giải pháp

Bài toán cần giải: attention cần biết hàng và cột để ghép các mảnh ảnh đúng mối quan hệ không gian, mà vẫn không phá vỡ nhân quả theo thứ tự chuỗi. Sau bài này, bạn cần tự kể được: ba trục chứa gì, vì sao chữ tăng cả ba trục, và vì sao ảnh dùng lưới tâm.

Trạng thái đầu vào: chuỗi đồng nhất cùng metadata image_ids từ bài 2A để xác định ranh giới từng khối ảnh. RoPE không học trọng số: bảng tọa độ dựng từ chỉ số vị trí.

Các thao tác và lý do: (1) chia 128 chiều thành ba dải 16 + 56 + 56, mỗi dải xoay theo một trục riêng; (2) đặt token chữ đi thẳng cả ba trục để phần chữ vẫn giữ được thứ tự phẳng như một dòng; (3) đặt token ảnh dùng lưới tâm không (0, 0) cho height và width, frame đứng trên toàn khối — nhờ đó cụm token của một ảnh luôn giữ cấu trúc hình học như nhau.

Đầu ra và cách đọc: bảng tọa độ ba trục cho từng token (frame, height, width) được áp vào attention ở bài 4A. Khi đọc bước 3A của lab, hãy so tọa độ của hai token ảnh nằm cùng hàng để thấy chênh lệch width nhưng height như nhau, bất kể độ dài prompt.

Giới hạn: tổng ba dải phải đúng 128; đổi cấu hình (số đầu hoặc chiều đầu khác) sẽ lệch phép xoay; khóa frame_index trong khối ảnh nghĩa là RoPE không phân biệt ảnh này với ảnh khác bằng chính trục frame — nhiệm vụ đó thuộc về thứ tự chuỗi và mặt nạ ở bài 3C.

4Profiling

• Quan sát tọa độ ba trục

  Bước 3A của lab in bảng tọa độ cho vài token chữ và vài token ảnh: token chữ tăng đều cả ba trục; trong khối ảnh, height và width phải quanh (0, 0) và frame đứng yên trên khối. So với bảng quy tắc ở phần Định nghĩa.

• Lưới tâm độc lập với độ dài prompt

  Chạy cùng một ảnh đích với hai prompt khác độ dài (ví dụ 10 và 30 token chữ) trong bước 3A của lab: tọa độ của các token trong khối ảnh phải giống nhau. Không kết luận chất lượng ảnh từ thí nghiệm này — nó chỉ chứng minh tính bình ổn vị trí, không hơn.

• Kiểm tra tổng dải chiều

  16 + 56 + 56 = 128 phải bằng attention_head_dim; nếu cấu hình khác (ví dụ thay attention_head_dim), phép xoay không vắt hết chiều và vế attention sẽ sai shape trước khi chạy chi tiết hơn; so lại cấu hình với model card trước khi đi sâu hơn.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

RoPE (Rotary Position Embedding)

Gắn vị trí bằng phép xoay: cặp chiều của Q và K xoay theo góc tỷ lệ vị trí, giúp attention đo khoảng cách tương đối.

axes_dims_rope (16, 56, 56)

Cắt 128 chiều của mỗi đầu thành ba dải: 16 cho trục frame, 56 cho height, 56 cho width.

frame_index

Chỉ số trục 'cảnh hoặc ảnh'; trong một khối ảnh nó bị chặn đứng, không tăng theo từng token.

Lưới tâm (0, 0)

Cách đánh số hai trục không gian của ảnh quanh tâm: height từ −(H − H//2) đến H//2 − 1, width tương tự.

QwenImage21Rope

Lớp dựng bảng tọa độ ba trục cho từng token dựa trên metadata của chuỗi.

7Bài liên quan

8Nguồn