Hybrid · kết hợp nhiều cơ chế truyền thông tin trong một model

1Định nghĩa

Kiến trúc Hybrid (lai) kết hợp hai cơ chế truyền ngữ cảnh khác nhau trong cùng một chồng lớp của mô hình: phần lớn các lớp dùng cơ chế cập nhật trạng thái gọn nhẹ (như State Space / Mamba hoặc Gated DeltaNet), và cứ sau một vài lớp lại đặt xen kẽ một lớp Attention chuẩn.

Cách phối hợp này giải quyết điểm yếu của cả hai phía: các lớp trạng thái xử lý chuỗi dài với bộ nhớ cố định, giúp cắt giảm phần lớn dung lượng KV cache, trong khi một vài lớp Attention đầy đủ đóng vai trò như bộ nhớ truy cập ngẫu nhiên để lấy lại chi tiết nguyên văn từ đầu văn bản. Cần phân biệt rõ: Hybrid chỉ cách trộn cơ chế dọc theo các lớp, độc lập với việc mạng FFN bên trong mỗi lớp là Dense hay MoE.

Ví dụ đời thường: Kiến trúc Hybrid giống như cách bạn đọc một cuốn sách dày: ở hầu hết các trang, bạn vừa đọc vừa ghi nhớ ý tóm tắt trong đầu cho nhanh (các lớp State Space / tuyến tính không tốn chỗ lưu), nhưng cứ sau vài chương bạn lại dán một miếng giấy đánh dấu trang quan trọng (lớp Attention đầy đủ) để khi cần vẫn lật lại tra cứu chính xác từng con số hay tên riêng.

2Luồng

flowchart TD
  step1["Đọc lịch các loại lớp"]
  step2["Chạy từng loại khối đúng thứ tự"]
  step3["Biến đổi bằng mạng truyền thẳng"]
  step4["Giữ state qua inference"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

Các mũi tên biểu diễn quan hệ dữ liệu hoặc quyết định thiết kế. Chọn từng nút để đọc bài liên quan; mở sơ đồ Markdown / Mermaid bên dưới để sao chép.

3Giải pháp

Qwen3.5-27B công bố lịch 16 nhóm, mỗi nhóm gồm ba khối Gated DeltaNet rồi một khối Gated Attention, với mạng truyền thẳng Dense. Bản 397B-A17B dùng 15 nhóm theo cấu trúc tương tự và mạng chuyên gia.

Chỉ triển khai kernel attention là chưa đủ. Runtime cần state cập nhật, cache attention, quy tắc batch/reset và kernels của từng khối. Memory planning phải cộng đúng cả hai loại state thay vì áp một công thức cache cho mọi lớp.

4Profiling

• Parity theo loại lớp

  So reference và optimized path ở từng loại khối rồi toàn model; kiểm tra chạy phân đoạn với state không làm đổi kết quả.

• Breakdown compute/state

  Đo thời gian từng loại lớp, state bytes và peak memory theo context; so chất lượng truy hồi và ngân sách chung trước khi kết luận lợi ích.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Linear attention

Họ cơ chế attention tổ chức phép tính qua các biểu diễn/trạng thái thay vì luôn dựng ma trận mọi cặp token; cần đọc biến thể cụ thể.

Gated Delta Networks

Tên họ khối dùng cổng và quy tắc cập nhật delta cho trạng thái liên hệ key/value; config xác định vị trí các lớp này.

7Bài liên quan

8Nguồn