Text-only / multimodal · kiến trúc theo loại dữ liệu

1Định nghĩa

Mô hình đa phương thức (multimodal) là kiến trúc cho phép xử lý nhiều loại dữ liệu khác nhau (như hình ảnh, âm thanh, video) chung trong một không gian biểu diễn với văn bản. Để làm được điều này, hệ thống không thể chỉ thêm ảnh vào bộ dữ liệu mà phải có đường xử lý phần cứng/toán tử riêng cho từng phương thức.

Cách thiết kế phổ biến nhất là đặt một bộ mã hóa chuyên biệt ở đầu vào (như Vision Encoder cho ảnh), dùng một tầng chiếu (projector/adapter) đổi các đặc trưng ảnh sang chuỗi vector có cùng chiều rộng với token chữ, rồi ghép chung vào chuỗi đầu vào của Transformer. Khi phục vụ suy luận, bước tiền xử lý ảnh và chạy encoder này diễn ra trước hoặc trong pha prefill, tạo ra một lượng đáng kể token ngữ cảnh trong KV cache.

Ví dụ đời thường: Mô hình đa phương thức (multimodal) giống như một ban hội chẩn có thêm bác sĩ chuyên đọc phim X-quang (Vision Encoder). Trước khi hội đồng thảo luận chung bằng lời nói, bác sĩ X-quang xem tấm phim rồi chuyển toàn bộ các chi tiết trên phim thành ngôn ngữ mô tả chuẩn của hội đồng (chiếu sang vector cùng chiều với token chữ) để mọi người cùng phân tích trên một bàn tròn.

2Luồng

flowchart TD
  step1["Tiền xử lý đúng loại input"]
  step2["Mã hóa và nối biểu diễn"]
  step3["Model ngôn ngữ xử lý ngữ cảnh hợp nhất"]
  step4["Học và đánh giá theo nhiệm vụ"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

Các mũi tên biểu diễn quan hệ dữ liệu hoặc quyết định thiết kế. Chọn từng nút để đọc bài liên quan; mở sơ đồ Markdown / Mermaid bên dưới để sao chép.

3Giải pháp

Khi fine-tune, xác định module nào được cập nhật: bộ mã hóa, khối nối, decoder hoặc tổ hợp. Đóng băng một module làm giảm số tham số trainable, không xóa tham số đó khỏi tổng checkpoint.

Budget cần tính thêm preprocessing, encoder activations và số vị trí biểu diễn ảnh/âm thanh mà decoder đọc. Thử batching theo kích thước ảnh hoặc chiều dài âm thanh; kiểm tra processor đi cùng checkpoint.

4Profiling

• Chất lượng có grounding

  Giữ riêng ảnh/âm thanh và câu hỏi; kiểm tra câu trả lời dựa trên tín hiệu đúng, không chỉ dựa vào văn bản đi kèm.

• Chi phí từng phương thức

  Đo preprocessing, encoder, connector và decoder riêng; theo dõi peak memory khi tăng ảnh hoặc thời lượng âm thanh.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Modality

Loại tín hiệu dữ liệu, chẳng hạn văn bản, hình ảnh hoặc âm thanh.

Projector / connector

Khối nối để chuyển hoặc kết hợp biểu diễn từ bộ mã hóa phương thức với model ngôn ngữ.

7Bài liên quan

8Nguồn