Latent MoE · chạy experts trong không gian nhỏ hơn

1Định nghĩa

Latent MoE là thiết kế tối ưu khối Mixture of Experts bằng cách thêm một bước nén chiều đặc trưng trước khi chạy các nhánh chuyên gia: vector ẩn của token được chiếu từ chiều rộng gốc của mô hình xuống một không gian tiềm ẩn (latent space) hẹp hơn, sau đó việc định tuyến và tính toán trên các chuyên gia được chọn đều diễn ra trong không gian nhỏ này trước khi chiếu ngược về chiều rộng ban đầu.

Nếu MLA dùng không gian tiềm ẩn để nén KV cache của nhánh Attention, thì Latent MoE (như trong Nemotron 3 Super hay Kimi K3) nén chính đường truyền của các chuyên gia FFN. Nhờ giảm kích thước vector đi vào từng chuyên gia, kiến trúc này vừa cho phép tăng số lượng chuyên gia hoạt động mà không làm nổ tham số, vừa giảm mạnh dung lượng gói tin phải truyền qua mạng All-to-All khi chạy Expert Parallelism.

Ví dụ đời thường: Latent MoE giống như việc gửi hồ sơ đi xin ý kiến nhiều phòng ban chuyên môn ở xa: thay vì bê nguyên thùng tài liệu gốc cồng kềnh chạy qua từng phòng ban (tốn băng thông mạng và công xử lý), bạn tóm tắt hồ sơ thành một bản đề cương ngắn gọn (chiếu xuống không gian tiềm ẩn nhỏ), gửi bản tóm tắt đó cho các chuyên gia xử lý nhanh rồi mới ghép kết quả vào hồ sơ chính.

2Luồng

flowchart TD
  step1["Down-project"]
  step2["Route và chạy experts"]
  step3["Up-project / residual"]
  step1 --> step2
  step2 --> step3

Luồng mô tả cơ chế hoặc quy trình kiểm tra. Các ví dụ số là giả định giáo dục; demo Atlas không chạy kiến trúc production này.

3Giải pháp

So communication payload d với r trên cùng dtype/token, rồi cộng metadata. Giảm width bốn lần không đảm bảo tổng latency bốn lần: số expert được chọn, projection, shared path và mạng đều có chi phí.

Nemotron 3 Super có 88 module gồm 40 Mamba-2, 40 latent MoE và 8 attention. Đừng tính cache như 88 full-attention layers.

Active parameter count không phải checkpoint memory. Latent projections là learned weights; thay chiều latent đòi hỏi chuyển đổi/training, không phải quantization toggle.

4Profiling

• Shape-aware count

  Đếm down/up projections, routed và shared tensors, cùng weight-sharing rules.

• Bytes vs latency

  Đo all-to-all bytes, projection GEMM, expert GEMM và end-to-end latency.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Latent width

Chiều biểu diễn nội bộ của expert path, khác hidden width model.

Module layer count

Số module riêng Mamba/attention/MoE có thể khác số block Transformer truyền thống.

7Bài liên quan

8Nguồn