Residual mới · mHC và Attention Residuals

1Định nghĩa

Trong Transformer tiêu chuẩn, đường cộng tắt (residual connection) chỉ là một luồng duy nhất cộng thẳng đầu ra của từng lớp vào vector đi xuyên qua mạng (y = x + F(x)). Khi mạng ngày càng sâu, các kiến trúc mới mở rộng đường truyền này để các lớp sau khai thác thông tin từ các lớp trước linh hoạt hơn mà không làm mất ổn định gradient.

Có hai hướng thiết kế chính: một là Manifold-Constrained Hyper-Connections (mHC) — mở rộng đường residual thành nhiều luồng song song có ma trận pha trộn học được, đồng thời chuẩn hóa ma trận trộn để tổng trọng số luôn cân bằng nhằm ngăn tín hiệu bị nổ theo độ sâu; hai là Attention Residuals (AttnRes) — cho phép lớp hiện tại dùng cơ chế giống Attention nhưng quét theo trục chiều sâu các lớp trước (thay vì trục các token) để chọn lọc thông tin từ những tầng biểu diễn phù hợp nhất.

Ví dụ đời thường: Nếu đường cộng tắt (residual) tiêu chuẩn giống như một làn đường cao tốc duy nhất chạy dọc qua các trạm xử lý, thì mHC giống như việc mở rộng thành 4 làn cao tốc song song có biển phân làn an toàn để xe cộ không dồn ứ vào một làn; còn Attention Residuals giống như việc cho phép trạm hiện tại nhìn lại camera của tất cả các trạm trước đó để chọn lấy nguồn thông tin rõ nét nhất.

2Luồng

flowchart TD
  step1["Tạo output sublayer"]
  step2["Trộn streams hoặc depth outputs"]
  step3["Truyền sang layer kế"]
  step1 --> step2
  step2 --> step3

Luồng mô tả cơ chế hoặc quy trình kiểm tra. Các ví dụ số là giả định giáo dục; demo Atlas không chạy kiến trúc production này.

3Giải pháp

Không đổi residual rule trên checkpoint cũ mà không có training/chuyển đổi phù hợp. Residual topology là một phần kiến trúc và ảnh hưởng gradient.

mHC trong V4/V4.1 và AttnRes trong Kimi K3 là ví dụ triển khai, không phải bằng chứng hai phương pháp tương đương. Nêu rõ phiên bản khi đọc single-pass mHC.

Tính thêm residual buffers, depth aggregation và communication khi layer phân bố nhiều GPU; lợi ích quality không miễn chi phí memory.

Parallel Transformer block tính attention và FFN từ cùng normalized input: y=x+A(N(x))+F(N(x)). Block tuần tự tính u=x+A(N₁(x)), y=u+F(N₂(u)); FFN đọc input khác. Parallel block giảm dependency trong layer, không tự đảm bảo hai GPU kernels chạy đồng thời hoặc end-to-end speedup. Cohere2 implementation là ví dụ code cho topology này.

4Profiling

• Ổn định mixing

  Đo row/column sums và sai số constraints, activation/gradient norms theo độ sâu.

• Overhead

  Profile mixing/depth aggregation cùng memory peak và pipeline transfers.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Residual streams

Các đường biểu diễn song song qua chiều sâu.

Depth attention

Trộn biểu diễn từ layer/block trước, khác attention trên chuỗi token.

7Bài liên quan

8Nguồn