Kiến trúc và mục tiêu huấn luyện · hai quyết định khác nhau

1Định nghĩa

Trong kỹ thuật LLM, kiến trúc mạng và mục tiêu huấn luyện (training objective) là hai quyết định tách biệt. Kiến trúc quy định cấu trúc các lớp và kích thước trọng số khi chạy forward, còn mục tiêu huấn luyện quy định mô hình phải dự đoán cái gì và hàm mất mát (loss) chấm điểm dự đoán đó ra sao để cập nhật trọng số.

Một mô hình giữ nguyên một kiến trúc Decoder-only từ đầu đến cuối nhưng thường đi qua ba mục tiêu huấn luyện nối tiếp nhau: Pretraining (đoán token kế tiếp trên kho văn bản thô để tích lũy tri thức nền), Supervised Fine-Tuning (học trả lời theo mẫu hội thoại chỉ dẫn), và Preference Training (tối ưu theo cặp câu trả lời tốt/kém hoặc điểm thưởng). Đổi mục tiêu học chỉ làm thay đổi giá trị số bên trong các ma trận trọng số, không tự biến mô hình Dense thành MoE hay thêm lớp mới.

Ví dụ đời thường: Kiến trúc mạng giống như thể chất và cấu tạo cơ thể của một vận động viên, còn mục tiêu huấn luyện (training objective) giống như giáo án tập luyện qua từng giai đoạn: đầu tiên là tập thể lực nền tảng chung (Pretraining), tiếp theo là tập kỹ thuật động tác theo hướng dẫn của huấn luyện viên (SFT), và cuối cùng là thi đấu cọ xát chấm điểm thắng thua để hoàn thiện chiến thuật (Preference Training).

2Luồng

flowchart TD
  step1["Chọn hoặc nạp kiến trúc"]
  step2["Chuẩn bị dữ liệu và vị trí chấm điểm"]
  step3["Tạo dự đoán và tính mục tiêu"]
  step4["Cập nhật và đánh giá checkpoint"]
  step1 --> step2
  step2 --> step3
  step3 --> step4

Các mũi tên biểu diễn quan hệ dữ liệu hoặc quyết định thiết kế. Chọn từng nút để đọc bài liên quan; mở sơ đồ Markdown / Mermaid bên dưới để sao chép.

3Giải pháp

Trong tinh chỉnh hội thoại, có thể tính loss trên câu trả lời trợ lý và bỏ loss prompt; prompt vẫn cung cấp ngữ cảnh. Kiểm tra nhãn, token kết thúc và ranh giới tài liệu trước khi tối ưu tốc độ.

Học từ sở thích cũng có nhiều phương pháp: có cách dùng reinforcement learning với reward và có cách tối ưu trực tiếp trên cặp câu trả lời được ưu tiên. Không gán mọi bước post-training thành RL hoặc suy số tham số từ tên thuật toán.

Kiến trúc, optimizer, chiến lược phân tán và lịch cập nhật là các lớp quyết định khác nhau. Chia trạng thái optimizer giữa máy giúp memory training, không biến model Dense thành chuyên gia.

4Profiling

• Vị trí thực sự đóng góp loss

  Đếm labels hợp lệ, xác nhận prompt/padding bị bỏ đúng khi policy yêu cầu; giữ validation tách khỏi dữ liệu cập nhật.

• Chất lượng mục tiêu cuối

  Ngoài loss, kiểm tra làm theo chỉ dẫn và output trên input mới; với reward kiểm tra điểm thưởng có phản ánh chất lượng mong muốn hay bị khai thác.

Mẹo đo lường: ghim số liệu trên workload thật, ghi cả p50/p95/p99 thay vì chỉ trung bình, và luôn ghi lại điều kiện chạy (batch, cache, đồng thời, phần cứng) trước và sau khi tối ưu. Số đo thiếu điều kiện chạy thì không so sánh được.

5Ví dụ

6Thuật ngữ

Supervised Fine-Tuning

Tinh chỉnh có giám sát: tiếp tục huấn luyện checkpoint bằng input và câu trả lời có nhãn; thường viết SFT.

Reinforcement Learning

Học tăng cường: điều chỉnh hành vi theo tín hiệu thưởng, thường cần tạo và đánh giá kết quả trước khi cập nhật.

7Bài liên quan

8Nguồn