GDN, KDA và Mamba-2 · cập nhật state trong hybrid

1Định nghĩa

Trong các kiến trúc Hybrid và State Space, bài toán khó nhất của các lớp trạng thái kích thước cố định là dung lượng nhớ có hạn: nếu chỉ cộng dồn thông tin mới vào ma trận trạng thái, dữ liệu cũ sẽ làm nhiễu dữ liệu mới. Các khối dùng quy tắc Delta (như Gated DeltaNet — GDN trong Qwen3.5 hay Kimi Delta Attention — KDA) giải quyết việc này bằng cơ chế xóa có chọn lọc rồi mới ghi: ở mỗi token, mô hình tính độ lệch giữa giá trị mới và thông tin mà trạng thái đang nhớ về cùng khóa đó để cập nhật chính xác ô nhớ cần sửa.

Sự khác biệt giữa các biến thể nằm ở độ mịn của cổng làm mờ lịch sử (decay gate) và cấu trúc kernel: GDN điều chỉnh tốc độ quên theo từng đầu (head-wise), KDA điều chỉnh chi tiết tới từng kênh đặc trưng (channel-wise), còn Mamba-2 dùng cấu trúc không gian trạng thái đối ngẫu (SSD) tối ưu cho phép nhân khối trên Tensor Cores. Cả ba đều giữ trạng thái kích thước cố định khi decode, không làm phình KV cache theo độ dài chuỗi.

Ví dụ đời thường: Quy tắc cập nhật Delta (trong GDN và KDA) giống như cách bạn cập nhật số điện thoại của một người bạn trong cuốn sổ tay nhỏ có số dòng cố định: thay vì cứ viết chồng số mới đè lên số cũ làm dòng chữ nhòe nhoẹt không đọc được, bạn tìm đúng dòng tên người bạn đó, lấy tẩy xóa phần số cũ đi (trừ sai số cũ) rồi mới điền số mới vào.

2Luồng

flowchart TD
  step1["Chiếu và chuẩn bị q/k/v"]
  step2["Decay rồi sửa state"]
  step3["Xen lớp attention"]
  step1 --> step2
  step2 --> step3

Luồng mô tả cơ chế hoặc quy trình kiểm tra. Các ví dụ số là giả định giáo dục; demo Atlas không chạy kiến trúc production này.

3Giải pháp

Chỉ state decode là bounded theo T. Training cần activations, checkpointing và chunk/scan intermediates; hybrid còn cache attention tăng theo T.

Phân biệt padding, document reset và state snapshot cho prefix sharing. Hai request không được dùng chung state đã chứa nội dung khác nhau dù có cùng độ dài.

Đo error và latency của scan/chunked kernel so recurrence từng bước trên cùng dtype. Context dài có thể mất thông tin chi tiết dù memory state nhỏ.

Lightning Attention-2 tách tính trong block và truyền thông tin giữa blocks bằng linear attention để dùng tiling hiệu quả. Nó không có phép sửa sai số v−Sk của delta rule. Ling/Ring 2.5 kết hợp Lightning Linear với MLA; đọc report/config cho recurrence cụ thể thay vì gán công thức GDN cho mọi linear layer.

4Profiling

• State bytes

  Đếm recurrent matrix, convolution buffer và KV của attention riêng biệt.

• Sai số và quality

  So scan với recurrence, rồi kiểm tra truy hồi xa và long-context generation.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Delta rule

Cập nhật từ sai số value mới so với value được dự đoán bởi state.

Recurrent state

Tóm tắt quá khứ có kích thước theo model, không tuyến tính theo T khi decode.

7Bài liên quan

8Nguồn