Nvidia 推出了 Chat with RXT，這是一款在電腦上運行的 AI 聊天機器人，提供與 ChatGPT 類似的功能，甚至更多！你只需要一張 Nvidia RTX 顯示卡，就可以開始使用 Nvidia 的新聊天機器人了。
在本文中，我們將深入探討 Nvidia 聊天機器人的功能以及如何在電腦上使用它。我們將探索其潛在用途，並探索如何充分利用這項創新技術。來體驗吧！ 如何使用 Quora 的 Poe 存取聊天機器人和不同的 LLM 模型.
快速連結
Nvidia 的 Chat with RTX 是什麼？
Nvidia Chat with RTX 是一種人工智慧 (AI) 模型，可讓您在電腦上本地運行大型語言模型 (LLM)。因此，您無需連接到互聯網即可使用像 ChatGPT 這樣的 AI 聊天機器人，而是可以隨時離線使用 Chat with RTX。
Chat with RTX 利用 TensorRT-LLM、RTX 加速和 Mistral 7-B 量子 LLM，提供與其他線上 AI 聊天機器人相當的快速效能和高品質反應。它還提供檢索增強生成 (RAG)，使聊天機器人能夠讀取您的檔案並根據您提供的資料實現個人化回應。這讓您可以自訂聊天機器人，以獲得更個人化的體驗。
使用 RTX 聊天功能：
- 當地的： 它無需互聯網即可在您的電腦上本地運行，讓您完全控制您的資料和隱私。
- 可客製化： 您可以使用自己的資料（例如 YouTube 影片和文件）進行訓練，以建立個人化的聊天體驗。
- 多種語言： 支持多種語言。
- 便於使用： 簡單且易於導航的使用者介面。
RTX 聊天可以做什麼？
- 回答您的問題： 透過 RTX 聊天可以解答您關於各種主題的問題，包括新聞、時事、科學和歷史。
- 資訊摘要： 使用 RTX 聊天可以匯總來自 YouTube 影片、文件和其他資料來源的資訊。
- 創造創意內容： 使用 RTX 聊天可以創建創意內容，例如詩歌、故事和文字。
- 語言翻譯： 使用 RTX 聊天可以將文字從一種語言翻譯成另一種語言。
如果您想嘗試使用 RTX 的 Nvidia Chat，請按照以下方法在您的 PC 上下載、安裝和設定它。
如何下載並安裝 Nvidia Chat with RTX
Nvidia 讓 LLM 車型在 PC 上原生運作變得更方便。要運行 Chat with RTX，只需下載並安裝應用程式即可，就像安裝其他應用程式一樣。但是，Chat with RTX 有一些最低組態要求，必須滿足這些要求才能正常安裝和使用。
- RTX 30系列或40系列顯示卡。
- 16GB 記憶體。
- 100GB 可用儲存空間。
- Windows的11。
如果您的電腦符合最低系統要求，您可以繼續安裝應用程式。
- 相片1： 下載 Chat with RTX zip 檔案。
- 下載： 與 RTX 聊天 （35GB 免費下載）
- 相片2： 右鍵單擊並選擇檔案歸檔程式（例如 7Zip）或雙擊檔案並選擇，以解壓縮壓縮 (ZIP) 檔案 全部提取.
- 相片3： 打開解壓縮後的資料夾，雙擊 setup.exe。請按照螢幕上的說明操作，並在自訂安裝過程中選取所有核取方塊。點擊「下一步」後，安裝精靈將下載並安裝 LLM 及其所有相依性。
Chat with RTX 的安裝需要一些時間，因為它會下載並安裝大量資料。安裝完成後，點擊“關閉”，即可完成。現在就可以試用這款應用程式了。
如何使用 Nvidia 的 Chat with RTX
雖然您可以像使用常規線上聊天機器人一樣使用 RTX 聊天，但我強烈建議您查看其 RAG 功能，該功能可讓您根據授予其存取權限的檔案自訂其輸出。
步驟 1：建立 RAG 資料夾
若要開始在 Chat with RTX 上使用 RAG，請建立一個新資料夾來儲存您希望 AI 分析的檔案。
建立資料夾後，請將您所需的資料檔案放入其中。此資料夾儲存的資料涵蓋許多主題和文件類型，例如文件、PDF、文字和影片。但是，您可能需要限制放入此資料夾中的檔案數量，以免影響效能。需要搜尋的資料越多，RTX 聊天返回特定查詢的回應時間就越長（但這也取決於裝置的內部硬體）。
現在您的資料庫已準備就緒，您可以設定使用 RTX 聊天並開始使用它來回答您的問題和詢問。
步驟2：準備環境
開啟 RTX 聊天。介面如下圖所示。
在“資料集”下，請確保已選擇“資料夾路徑”選項。現在，點擊底部的編輯圖標，並選擇包含您希望 Chat with RTX 讀取的所有檔案的資料夾。如果還有其他選項可用，您也可以變更 AI 模型（在撰寫本文時，僅 Mistral 7B 可用）。
您現在可以使用 RTX 聊天了。
步驟 3：透過 RTX 聊天提出您的問題！
使用 Chat with RTX 查詢各種資訊有多種方法。第一種是像普通的 AI 聊天機器人一樣使用它。我向 Chat with RTX 詢問了使用原生 LLM 模型的好處，並對它的回答感到滿意。答案雖然不是很深入，但夠準確。
但由於 Chat with RTX 型號能夠使用 RAG，因此您也可以將其用作 AI 驅動的個人助理。
上圖中，我使用 Chat with RTX 查詢了我的行程。數據來自一個 PDF 文件，其中包含我的日程安排、日曆、活動、工作等資訊。在本例中，Chat with RTX 從資料中提取了正確的日曆資料。您需要保持資料檔案和日曆日期為最新，才能使此類功能正常運作並與其他應用程式整合。
您可以透過多種方式在 Chat with RTX 中充分利用 RAG。例如，您可以用它來閱讀法律文件並提供摘要、產生與您正在開發的應用程式相關的程式碼、獲取您之前忙於觀看的影片的精彩片段等等！查看 你應該使用本地 LLM 模式嗎？優點、缺點和最佳實踐.
步驟 4：額外獎勵
除了本機資料資料夾外，您還可以使用 Chat with RTX 分析 YouTube 影片。為此，請在資料集下將資料夾路徑變更為 YouTube 網址。
複製您要分析的 YouTube 網站的 URL，並將其貼到下拉式選單下方。然後提問！
使用 RTX 聊天並分析 YouTube 影片的效果非常好，並且提供了準確的訊息，因此可以用於研究、快速分析等。查看 如何有效利用 Scikit-LLM 和大型語言模型進行文字分析.
Nvidia 的 Chat with RTX 好用嗎？
ChatGPT 提供 RAG 功能。一些 AI 驅動的本地聊天機器人的系統要求要低得多。那麼，Chat with RTX 值得使用嗎？
答案是肯定的！儘管競爭激烈，但 RTX 聊天仍然值得一試。
Chat with RTX 的最大賣點之一是無需將檔案傳送到第三方伺服器即可使用 RAG。透過線上服務自訂 GPT 可能會洩露您的資料。但是，由於 Chat with RTX 在本地離線運行，因此在 Chat with RTX 上使用 RAG 可確保您的敏感資料安全無虞，並且只能在您的電腦上存取。
與 Mistral 7B 驅動的其他原生 AI 聊天機器人相比，Chat with RTX 的效能更佳、速度更快。雖然效能提升很大程度上得益於先進的 GPU，但 Nvidia TensorRT-LLM 和 RTX 加速的使用，使得 Mistral 7B 在 Chat with RTX 上的運行速度比其他 LLM 優化聊天方法更快。
值得注意的是，我們目前使用的 Chat with RTX 版本為測試版。未來版本的 Chat with RTX 可能會進一步優化，並帶來效能提升。
如果我沒有 RTX 30 或 40 系列顯示卡怎麼辦？
使用 RTX Chat 是一種簡單、快速且安全的方法，無需網路連線即可在本地運行 LLM 模型。如果您也想在本地運行 LLM，但沒有 RTX 30 或 40 系列顯示卡，可以嘗試其他方法在本地運行 LLM。其中最受歡迎的兩種方法是 GPT4ALL 和 Text Gen WebUI。如果您想在本地體驗 LLM 的即插即用體驗，可以嘗試 GPT4ALL。但如果您更偏向技術，可以透過 文字產生 WebUI 它將為您提供更好的控制和靈活性。現在您可以查看 使用 GPT4All 在 Windows 上執行 ChatGPT 的本機免費版本.
