Recurrent / State Space · truyền thông tin bằng trạng thái cập nhật

1Định nghĩa

Mô hình không gian trạng thái (State Space Models — SSM, tiêu biểu là Mamba) và mạng hồi quy tuyến tính thay thế cơ chế Attention bằng cách duy trì một bộ nhớ trạng thái ẩn (recurrent state) có kích thước cố định. Khi đọc qua từng token mới, mô hình dùng cổng chọn lọc phụ thuộc đầu vào để quyết định giữ lại thông tin nào và ghi đè thông tin nào vào trạng thái này.

Ưu thế kỹ thuật lớn nhất khi phục vụ suy luận là ở pha decode: mỗi bước chỉ cần cập nhật trạng thái cố định đó với chi phí tính toán và bộ nhớ O(1) cho mỗi token mới, không cần lưu và đọc lại KV cache phình to theo độ dài văn bản. Đổi lại, vì toàn bộ quá khứ bị nén vào một trạng thái hữu hạn, mô hình khó tra cứu nguyên văn một chi tiết nhỏ ở xa bằng Attention đầy đủ.

Ví dụ đời thường: Mô hình State Space (như Mamba) giống như cách một thư ký ghi biên bản cuộc họp chỉ trên đúng một tấm bảng trắng cố định trước mặt. Thay vì giữ lại toàn bộ băng ghi âm từng câu chữ từ đầu buổi họp (như KV cache của Attention), mỗi khi có ý mới quan trọng, thư ký xóa bớt chi tiết phụ đã cũ và cập nhật tóm tắt mới lên bảng, nhờ vậy cuộc họp kéo dài mấy tiếng thì tấm bảng vẫn gọn nhẹ như lúc đầu.

2Luồng

flowchart TD
  step1["Biểu diễn token đầu vào"]
  step2["Cập nhật trạng thái"]
  step3["Đọc biểu diễn từ trạng thái"]
  step4["Học qua toàn chuỗi"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

Các mũi tên biểu diễn quan hệ dữ liệu hoặc quyết định thiết kế. Chọn từng nút để đọc bài liên quan; mở sơ đồ Markdown / Mermaid bên dưới để sao chép.

3Giải pháp

Triển khai decode cần lưu đúng state và reset hoặc tách state khi chuyển request/tài liệu. Không tái sử dụng allocator cache key/value của attention nếu layout và semantics không tương thích.

Trong training có thể dùng scan và kernel fusion để khai thác song song. Tốc độ thực phụ thuộc shape, hardware, kernel và nhiệm vụ; lịch sử nén không tự đảm bảo chất lượng truy hồi chi tiết ở context dài.

4Profiling

• State continuity

  So chạy nguyên chuỗi với chạy chia đoạn rồi chuyển state; kết quả phải khớp theo tolerance phù hợp. Kiểm tra reset để không lẫn request.

• Chi phí và khả năng giữ thông tin

  Đo state bytes, thời gian mỗi bước, peak memory training; thêm bài truy hồi thông tin ở nhiều khoảng cách, không chỉ throughput.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Recurrent state

Trạng thái hồi quy: thông tin được giữ lại giữa các bước và cập nhật khi input mới đến.

State Space Model

Mô hình không gian trạng thái: hệ biến đổi trạng thái bên trong để tạo đầu ra; thường viết SSM.

7Bài liên quan

8Nguồn