Encoder-only · đọc toàn bộ đầu vào để tạo biểu diễn

1Định nghĩa

Mô hình Encoder-only (tiêu biểu là họ BERT, RoBERTa và các mô hình tạo vector embedding/reranker) được thiết kế để đọc toàn bộ đoạn văn bản đầu vào trong một lượt duy nhất. Nhờ cơ chế Attention hai chiều (bidirectional), mỗi token được phép nhìn thấy cả các từ đứng trước lẫn các từ đứng sau nó để nắm bắt trọn vẹn ngữ cảnh.

Kiến trúc này không sinh văn bản nối tiếp từng từ nên không có vòng lặp decode hay KV cache tăng dần theo thời gian. Toàn bộ quá trình suy luận tương đương với một lượt chạy forward song song, xuất ra vector biểu diễn ngữ nghĩa để đưa vào đầu phân loại văn bản, nhận diện thực thể hoặc tra cứu cơ sở dữ liệu vector (RAG).

Ví dụ đời thường: Mô hình Encoder-only giống như một giám khảo chấm bài thi trắc nghiệm hoặc người biên tập đọc thẩm định một trang văn bản đã in sẵn. Vì có toàn bộ trang giấy trước mặt ngay từ đầu, người đọc có thể nhìn đối chiếu câu đầu với câu cuối cùng lúc (đọc hai chiều) để kết luận bài viết thuộc chủ đề gì hoặc gạch chân tên nhân vật, chứ không phải ngồi viết nối tiếp từng chữ mới.

2Luồng

flowchart TD
  step1["Chuẩn bị đoạn văn"]
  step2["Mã hóa với attention hai chiều"]
  step3["Đưa biểu diễn tới đầu nhiệm vụ"]
  step4["So dự đoán với nhãn"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

Các mũi tên biểu diễn quan hệ dữ liệu hoặc quyết định thiết kế. Chọn từng nút để đọc bài liên quan; mở sơ đồ Markdown / Mermaid bên dưới để sao chép.

3Giải pháp

Với phân loại, dùng encoder và đầu dự đoán nhãn; với tìm kiếm ngữ nghĩa, cần checkpoint và cách pooling đã được huấn luyện cho biểu diễn câu. Lấy tùy tiện vector từ BERT không bảo đảm embedding tốt cho tìm kiếm.

Có thể batch các đoạn có độ dài gần nhau để giảm padding; tối ưu attention và precision vẫn phải giữ chất lượng. Vì đầu vào đã đủ, thường xử lý cả đoạn một lần thay vì sinh autoregressive từng token.

4Profiling

• Chất lượng theo nhiệm vụ

  Với phân loại đo độ chính xác hoặc F1 trên tập giữ riêng; với tìm kiếm đo tỷ lệ truy hồi đúng ở số kết quả xác định.

• Chi phí theo độ dài đầu vào

  Sweep độ dài và batch size, đo thời gian xử lý toàn đoạn và peak memory; không dùng thời gian giữa token sinh làm chỉ số encoder.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Encoder

Bộ mã hóa: khối biến đầu vào thành các biểu diễn để khối khác đọc hoặc đưa ra quyết định.

Bidirectional attention

Attention hai chiều: vị trí được đọc cả thông tin trước và sau trong đầu vào hợp lệ.

7Bài liên quan

8Nguồn