Nvidia vừa ra mắt Chat With RTX, một chatbot AI hoạt động trên PC và có thể cung cấp các tính năng tương tự như ChatGPT và hơn thế nữa! Tất cả những gì bạn cần là GPU Nvidia RTX là bạn đã có thể bắt đầu sử dụng chatbot AI mới của Nvidia.
Nvidia Chat with RTX là gì?
Nvidia Chat With RTX là phần mềm AI cho phép bạn chạy mô hình ngôn ngữ lớn (LLM) cục bộ trên máy tính cá nhân của mình. Vì vậy bạn có thể sử dụng AI chatbot này ở trạng thái offline bất cứ khi nào bạn muốn, thay vì lên mạng sử dụng như các chatbot AI khác.
Chat With RTX sử dụng TensorRT-LLM, khả năng tăng tốc RTX và Mistral 7-B LLM được lượng tử hóa để mang lại hiệu suất nhanh và phản hồi chất lượng ngang bằng với các chatbot AI trực tuyến khác. Nó cũng cung cấp khả năng Retrieval-Augmented Generation (RAG), cho phép chatbot đọc qua những file của bạn và kích hoạt các câu trả lời tùy chỉnh dựa trên dữ liệu bạn cung cấp. Điều này cho phép bạn tùy chỉnh chatbot để mang lại trải nghiệm phù hợp với cá nhân bạn hơn.
Để chạy Chat With RTX, bạn chỉ cần tải xuống và cài đặt ứng dụng như với bất kỳ phần mềm nào khác. Tuy nhiên, chat bot AI này có một số yêu cầu về thông số kỹ thuật tối thiểu để cài đặt và hoạt động tốt.
- GPU RTX 30-Series hoặc 40-Series
- RAM 16GB
- Dung lượng bộ nhớ trống 100GB
- Windows 11
Cách sử dụng Nvidia Chat With RTX
Mặc dù bạn có thể sử dụng Chat With RTX của Nvidia giống như một chatbot AI trực tuyến thông thường, nhưng bạn nên kiểm tra chức năng RAG của nó, chức năng này cho phép bạn tùy chỉnh đầu ra của nó dựa trên các file bạn cấp quyền truy cập.
Bước 1: Tạo thư mục RAG
Để bắt đầu sử dụng RAG trên Chat With RTX, hãy tạo một thư mục mới để lưu trữ các file bạn muốn AI phân tích.
Sau khi tạo, đặt các file dữ liệu của bạn vào thư mục. Dữ liệu bạn lưu trữ có thể bao gồm nhiều chủ đề và loại file cá nhân như tài liệu, file PDF, văn bản và video. Tuy nhiên, bạn nên giới hạn số lượng file đặt trong thư mục này để không ảnh hưởng đến hiệu suất. Nhiều dữ liệu hơn để tìm kiếm có nghĩa là Chat With RTX sẽ mất nhiều thời gian hơn để trả lời các câu hỏi cụ thể (nhưng điều này cũng phụ thuộc vào phần cứng).
Bây giờ, cơ sở dữ liệu của bạn đã sẵn sàng, bạn có thể thiết lập Chat With RTX và bắt đầu sử dụng cơ sở dữ liệu đó để trả lời các câu hỏi của mình.
Bước 2: Thiết lập môi trường
Trong Dataset, đảm bảo rằng tùy chọn Folder Path được chọn. Bây giờ, hãy nhấp vào biểu tượng chỉnh sửa (biểu tượng cây bút) và chọn thư mục chứa tất cả các file bạn muốn Chat With RTX đọc. Bạn cũng có thể thay đổi mô hình AI nếu có các tùy chọn khác (hiện nay chỉ có Mistral 7B và có thể sẽ được cập nhật trong tương lai).
Bước 3: Đặt câu hỏi với Chat With RTX!
Có một số cách để truy vấn Chat With RTX. Đầu tiên là sử dụng nó như một chatbot AI thông thường. AI này có khả năng RAG nên bạn cũng có thể sử dụng nó làm trợ lý AI cá nhân.
Có nhiều cách bạn có thể sử dụng RAG của Chat With RTX để làm lợi thế cho mình. Ví dụ, bạn có thể sử dụng nó để đọc qua các giấy tờ pháp lý và đưa ra bản tóm tắt, tạo code liên quan đến chương trình bạn đang phát triển, nhận các điểm highlight có dấu đầu dòng về một video mà bạn quá bận để xem và hơn thế nữa!
Bước 4: Tính năng bổ sung
Ngoài thư mục dữ liệu cục bộ, bạn có thể sử dụng Chat With RTX để phân tích video YouTube. Để làm như vậy, trong Dataset, hãy thay đổi Folder Path thành YouTube URL, sau đó hãy sao chép URL YouTube bạn muốn phân tích và dán bên dưới menu drop-down.
Phân tích video YouTube của Chat With RTX khá tốt và cung cấp thông tin chính xác, vì vậy nó có thể hữu ích cho việc nghiên cứu, phân tích nhanh, v.v…
