NeuroSpark Mở Rộng Sự Lựa Chọn Điện Toán AI Nhờ Tích Hợp Phần Cứng AMD

Trong bối cảnh nhu cầu tính toán cho trí tuệ nhân tạo (AI) đang tăng vọt và chi phí hạ tầng trở thành gánh nặng lớn đối với nhiều doanh nghiệp, NeuroSpark – đơn vị cung cấp hạ tầng huấn luyện và suy luận (inference) AI – vừa công bố bước tiến mới nhằm tối ưu hóa sự lựa chọn phần cứng thông qua việc kết hợp các dòng GPU AMD Instinct™ chạy trên nền tảng đám mây bare-metal của Oracle Cloud Infrastructure (OCI) cùng hệ sinh thái phần mềm mở AMD ROCm™.

Giải pháp cho bài toán chi phí và công suất AI

Hiện nay, các phòng thí nghiệm AI, công ty chuyên về AI và các doanh nghiệp lớn đang phải đối mặt với lượng yêu cầu xử lý (token demand) khổng lồ cho các mô hình ngôn ngữ lớn (LLM), mô hình tạo sinh video, tổng hợp giọng nói và các mô hình embedding. Việc thiếu hụt dung lượng GPU trên một số nền tảng truyền thống và chi phí vận hành đắt đỏ đã thôi thúc các nhà phát triển tìm kiếm các giải pháp thay thế linh hoạt hơn.

NeuroSpark đã giải quyết thách thức này bằng cách sử dụng hệ thống agentic platform (nền tảng tự hành) để liên tục kiểm thử (benchmark) và tinh chỉnh các framework suy luận phù hợp với từng nhu cầu cụ thể về kích thước mô hình, độ trễ và hiệu năng. Việc bổ sung GPU AMD Instinct trên OCI không chỉ giúp hãng gia tăng đáng kể dung lượng cung cấp mà còn mang lại phương án tiết kiệm chi phí cho các mô hình tiên tiến nhất.

Sức mạnh từ phần mềm mở AMD ROCm

Nhờ tính chất mã nguồn mở của phần mềm AMD ROCm, đội ngũ kỹ thuật của NeuroSpark có sự linh hoạt tối đa để tùy chỉnh mã nguồn cho phù hợp với từng mô hình đặc thù của khách hàng. Sau khi thiết lập nền tảng cơ sở cho một mô hình, ROCm cho phép họ khắc phục lỗi theo từng workload, tối ưu hóa các kernel và tích hợp liền mạch vào các công cụ suy luận phổ biến.

Các tùy chọn framework mà NeuroSpark hỗ trợ bao gồm ATOM (engine suy luận gốc trên ROCm), AITER (thư viện và tối ưu hóa kernel ROCm), mono-kernel, FlyDSL, các kernel có thể cấu hình (composable kernel) và tích hợp sâu ROCm vào các engine suy luận chủ lực.

Thomas Ning, nhà sáng lập NeuroSpark AI, chia sẻ:

"Có rất nhiều tiềm năng chưa được khai thác ở các dòng chip AMD, và chúng tôi có thể giúp các công ty tìm ra cách sử dụng chúng hiệu quả nhất để đạt được hiệu suất và chi phí tối ưu."

Hỗ trợ nhanh chóng các mô hình tiên tiến

Sự kết hợp giữa hạ tầng bare-metal ổn định từ OCI và sức mạnh của phần cứng AMD đã cho phép NeuroSpark đưa các mô hình đột phá vào vận hành một cách nhanh chóng. Điển hình như khi Z.ai phát hành mô hình GLM-5.3, hệ thống của NeuroSpark đã hỗ trợ mô hình này ngay từ "ngày đầu tiên" ra mắt. Ngoài ra, hàng loạt các mô hình nguồn mở hàng đầu khác như Kimi K3, MiniMax M3 và Reflection's Beam cũng đã được đưa vào phục vụ thương mại suôn sẻ trên nền tảng phần cứng AMD.

Sự hợp tác chiến lược này không chỉ mang lại nhiều lựa chọn hơn cho người dùng cuối mà còn khẳng định vị thế ngày càng vững chắc của hệ sinh thái AMD Instinct và ROCm trong thị trường hạ tầng AI hiệu năng cao (HPC).

Nguồn: AMD BLOG