Làm thế nào để sử dụng Chatbot AI Chat With RTX của Nvidia trên máy tính ?

Nvidia đã cho ra mắt người dùng tính năng Chat With RTX, một chatbot AI hoạt động trên PC của bạn và cung cấp các tính năng tương tự như ChatGPT và hơn thế nữa! Để có thể sẽ dụng được tính năng này thì những gì bạn cần là GPU của Nvidia RTX.

Nvidia Chat with RTX là gì ?

Đây là một phần mềm ứng dụng AI của Nvidia, nó cho phép bạn chạy mô hình ngôn ngữ lớn (LLM) trên máy tính của mình. Có thể coi đây là một tính năng thay thế cho ChatGPT, bạn có thể sử dụng nó bất kì lúc nào bạn muốn kể cả khi bạn đang offline.

Chat with RTX sử dụng TensorRT-LLM, khả năng tăng tốc RTX và Mistral 7-B LLM được lượng tử hóa để mang lại hiệu suất nhanh và phản hồi chất lượng ngang bằng với các Chatbot AI trực tuyến khác. Nó cũng cung cấp khả năng Retrieval-Augmented Generation (RAG), cho phép chatbot đọc qua những file của bạn và kích hoạt các câu trả lời tùy chỉnh dựa trên dữ liệu bạn cung cấp. Điều này cho phép bạn tùy chỉnh chatbot để mang lại những trải nghiệm cá nhânh hơn.

Nếu bạn muốn dùng thử Nvidia Chat With RTX, bạn có thể thử tải xuống và cài đặt nó trên máy tính của mình theo các bước dưới đây:

Hướng dẫn tải và cài đặt Chat With RTX 

Nvidia đã giúp việc chạy LLM cục bộ trên máy tính của bạn dễ dàng hơn. Để chạy được ChatRTX, bạn chỉ cần tải xuống và cài đặt ứng dụng, giống như cách bạn làm với bất kỳ phần mềm nào khác.

Tuy nhiên, ChatRTX có một số yêu cầu về thông số kỹ thuật tối thiểu để có thể cài đặt được và sử dụng đúng cách:

• GPU RTX 30-series hoặc 40-series
• Ram 16GB trở lên
• Dung lượng bộ nhớ trống 100GB
• sử dụng trên Windows 11

Nếu máy tính của bạn có thông số tối thiểu như trên thì bạn có thể thử tải và trải nghiệm ứng dụng ChatRTX

Bước 1: Bạn dowload link ở đây

Bước 2: Sau khi đã tải thành công, bạn cần giải nén bằng cách click chuột phải vào file zip và chọn công cụ giải nén file ( Winrar, 7Zip) và chọn Extract ALL.

Bước 3: Mở thư mục giải nén và chọn mục Setup.exe và chọn tất cả các hộp trong quá trình cài đặt tùy chỉnh. Sau khi nhấn "NEXT", quá trình tải xuống và cài đặt sẽ được thực hiện. Bạn chỉ việc ngồi chờ quá trình này chạy xong và nhấn "Close"

 Hướn dẫn sử dụng Nvidia Chat With RTX

Mặc dù ChatRTX cũng sẽ giống như một chatbot AI trực tuyến thông thường, những bạn vẫn nên kiểm tra lại chức năng RAG của nó, chức năng này sẽ cho phép bạn tùy chỉnh đầu ra của nó dựa trên các file bạn cấp quyền truy cập.

Bước 1: Tạo thư mục RAG

Để có thể sử dụng RAG trên chatRTX, bạn hãy tạo cho mình một thư mục mới để lưu trữ các file bạn muốn AI phân tích. Sau khi đã tạo bạn hãy đặt các file dữ liệu vào thu mục. Dữ liệu lưu trữ có thể bao gồm nhiều chủ đề và loại file, chẳng hạn như tài liệệu, file PDF, văn bản và video. Tuy nhiên, bạn có thể muốn giới hạn số lượng file bạn đặt trong thư mục này để không ảnh hưởng đến hiệu suất. Nhiều dữ liệu hơn để tìm kiếm có nghĩa là ChatRTX sẽ mất nhiều thời gian hơn để trả lời các câu hỏi cụ thể (điều này sẽ phụ thuộc vào phần cứng).

Sau khi đã hoàn thành, cơ sở dữ liệu của bạn đã sẵn sàng, bạn có thể thiết lập ChatRTX và bắt đầu sử dụng cơ sở dữ liệu đó để trả lời các câu hỏi và thắc mắc của mình.

Bước 2: Thiết lập môi trường

ChatRTX sẽ có giao diện như hình bên dưới đây, Trong Dataset, bạn cần đảm bảo tùy chọn Folder Path được chọn. Chọn biểu tượng chỉnh sửa bên dưới (có dang cây bút) và chọn thư mục có chứa tất cả các file mà bạn muốn ChatRTX đọc. Bạn cũng có thể thay đổi mô hình AI nếu có các tùy chọn khác.

Sau khi đã hoàn thành tất cả các bước trên, bây giờ bạn đã có thể sử dụng ChatRTX giống với ChatGPT, nhưng vì ChatRTX có khả năng RAG nên bạn cũng có thể sử dụng nó làm trợ lý AI cá nhân. Có nhiều cách để bạn có thể sử dụng RAG của ChatRTX để làm lợi thế cho mình. Bạn cũng có thể sử dụng nó để đọc qua các giấy tờ pháp lý và đưa ra bản tóm tắt, tạo code liên quan đến các chương trình bạn đang phát triển, nhận các điểm highlight có dấu đầu dòng về một video mà bạn quá bận để có thể xem và hơn thế nữa! 

Các tính năng bổ sung   

Ngoài thư mục dữ liệu cục bộ, bạn có thể sử dụng ChatRTX để phân tích Video Youtube, để làm được điều này, trong Dataset hãy thay đổi Folder Path thành Youtube URL.

Sao chép URL Youtube bạn muốn phân tích và dán bên dưới menu Drop-down.

 Việc thông tin sau phân tích video từ Youtube của RTX khá tốt và cung cấp thông tin chíng xác, vì vậy việc này sẽ rất phù hợp cho những bạn muốn nghiên cứu đối thủ của mình và nó cực kì có ích.

Trên đây là các bước để bạn tải và trải nghiệm Chat With RTX của Nvidia, mặc dù mới ra mắt cách đây không lâu nhưng với thị trường đang ngày càng quan tâm đến công nghệ AI thì đây cũng được coi là một bước tiến mới của hãng Nvidia, hy vọng bài viết sẽ giúp ích cho bạn.