Model nhỏ · PLE, MatFormer và effective parameters

1Định nghĩa

Khi triển khai LLM trực tiếp trên thiết bị đầu cuối (on-device / edge như điện thoại hay laptop), nút thắt lớn nhất là dung lượng RAM/VRAM hạn hẹp và băng thông bộ nhớ thấp. Các kiến trúc cho thiết bị biên (như Gemma 3n) giải quyết bài toán này bằng cách tách phần tham số tra cứu tĩnh khỏi phần tham số phải nhân ma trận liên tục trên bộ tăng tốc.

Hai kỹ thuật tiêu biểu là Per-Layer Embeddings (PLE) — chuyển một lượng lớn tham số sang các bảng tra cứu theo mã token ở từng lớp để có thể giữ trên RAM CPU hoặc bộ nhớ Flash và nạp trước (prefetch) ngay khi biết token ID mà không chiếm VRAM của GPU; và MatFormer (Matryoshka Transformer) — huấn luyện mạng truyền thẳng FFN theo cấu trúc lồng nhau để từ một checkpoint duy nhất có thể rút trích ra mô hình con nhẹ hơn tùy cấu hình máy.

Ví dụ đời thường: Thiết kế mô hình cho thiết bị biên (PLE và MatFormer) giống như cách sắp xếp đồ nghề cho một chuyến đi dã ngoại bằng ba lô nhỏ: những cuốn cẩm nang tra cứu ít thay đổi được để ở ngăn ngoài hoặc gửi xe hậu cần lấy theo mã (bảng nhúng PLE đặt trên RAM/Flash), còn bộ dụng cụ nấu nướng được thiết kế kiểu bộ nồi lồng nhau (MatFormer) để đi một mình thì chỉ cần rút chiếc nồi nhỏ nhất ra dùng.

2Luồng

flowchart TD
  step1["Chọn variant hỗ trợ"]
  step2["Nạp PLE và main model"]
  step3["Đánh giá subnetwork"]
  step1 --> step2
  step2 --> step3

Luồng mô tả cơ chế hoặc quy trình kiểm tra. Các ví dụ số là giả định giáo dục; demo Atlas không chạy kiến trúc production này.

3Giải pháp

PLE là weights theo token, không phải KV được tạo từ prompt hay RAG document store. Có thể offload weights nhưng cần tính thời gian lấy dữ liệu và băng thông.

MoE A4B nghĩa đường active xấp xỉ 4B, không có nghĩa chỉ cần memory cho 4B weights nếu giữ toàn checkpoint. Tên E2B của Gemma dùng effective budget; không thay nhau hai ký hiệu.

QAT có thể giúp model chịu quantization nhưng format hỗ trợ và activation/KV dtype vẫn cần xác nhận. Không suy RAM thiết bị chỉ bằng suffix tên model.

4Profiling

• Resident vs total

  Đo weights resident, offloaded, peak activations và KV; báo cả model storage.

• Chất lượng trên thiết bị

  Đo task score, TTFT, energy và p95 khi có transfer thực.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Effective parameters

Con số mô tả chi phí đường xử lý/residency theo thiết kế, cần đọc định nghĩa nhà phát hành.

Nested FFN

Các subnetwork dùng phần weights lồng nhau, có training hỗ trợ.

7Bài liên quan

8Nguồn