AMD Đưa DeepSeek-V4 Flash Lên GPU Instinct MI308X Thông Qua Ngăn Xếp RL Hỗ Trợ Bởi AITER

AMD vừa công bố kết quả thử nghiệm chạy toàn diện hệ thống Học tăng cường (Reinforcement Learning - RL) cho mô hình DeepSeek-V4 Flash trên quy mô 24 GPU AMD Instinct MI308X thông qua ngăn xếp (stack) RL tối ưu hóa dựa trên thư viện AITER.

Đợt thử nghiệm này không chỉ dừng lại ở suy luận (inference) hay một bước huấn luyện đơn lẻ mà bao gồm toàn bộ chu trình khép kín: rollout ngữ cảnh dài định dạng FP8, huấn luyện actor hỗn hợp chuyên gia (MoE) định dạng BF16, cập nhật trọng số trực tuyến qua RDMA, đánh giá hiệu suất (evaluation) và phục hồi điểm kiểm tra (checkpoint recovery).

Điểm Nhấn Kỹ Thuật Chính

• Kiến trúc phân rã (Disaggregated Services): Quá trình huấn luyện và suy luận được tách biệt rõ ràng nhằm tối ưu hóa hiệu năng phần cứng:

  • 2 Node MI308X đầu tiên: Đảm nhận vai trò huấn luyện Actor BF16, giữ vững độ ổn định số học cần thiết cho việc tính toán gradient và cập nhật bộ tối ưu hóa (optimizer).

  • Node MI308X thứ ba: Đảm nhận vai trò vận hành động cơ suy luận FP8 (rollout engine). Định dạng FP8 giúp tiết kiệm dung lượng bộ nhớ GPU, nhường chỗ lớn hơn cho bộ nhớ đệm KV (KV cache) để xử lý các chuỗi sinh văn bản dài hơn.

• Điều phối bằng Ray: Khung mã nguồn mở Ray được sử dụng để điều phối và quản lý toàn bộ các nhóm GPU trên cả 3 nút phần cứng một cách đồng bộ.

• Cập nhật trọng số qua RDMA: Cho phép truyền tải và cập nhật trọng số trực tuyến từ cụm huấn luyện sang động cơ rollout FP8 với tốc độ cao.

• Kết quả kiểm định (75-step evaluation): Hệ thống đạt kết quả ổn định qua 75 bước huấn luyện, duy trì hiệu suất đánh giá cao trên các bộ dữ liệu tiêu chuẩn (như AIME-2024), đồng thời đảm bảo thông lượng (throughput) cao trong suốt quá trình chạy thực tế.

Việc tích hợp ngăn xếp AITER cùng dòng GPU AMD Instinct MI308X đánh dấu bước tiến quan trọng trong việc vận hành các mô hình ngôn ngữ lớn tiên tiến đòi hỏi khối lượng tính toán RL khổng lồ với hiệu năng tối ưu trên phần cứng AMD ROCm.