我使用雲端聊天機器人已經很久了。由於大型語言模型的運作需要強大的運算能力，這些程式曾經是唯一的選擇。但有了 LM Studio 和 LLM Quantum Models，我現在可以使用現有的硬體離線運行優秀的模型。最初只是出於對本地人工智慧的好奇，現在卻變成了一個強大的替代方案，它免費、離線運行，並且讓我能夠完全掌控與人工智慧的互動。
在我親身體驗了意外將敏感資訊分享給雲端AI的後果後，這種轉變變得至關重要。我最終在一次看似正常的對話中與ChatGPT分享了我的PIN碼。那一刻的疏忽讓我意識到，我一直把雲端AI當成了一個數位筆記本，而沒有考慮到安全隱憂。 LM Studio透過將LLM AI的功能直接引入您的桌面，消除了隱私風險和經常性成本，解決了這些根本性問題。
快速連結
LM Studio 解決了本地 AI 的複雜性。
運行本地 LLM 模型變得比以往更容易！
發現之前 LM工作室我花了無數的時間研究新開發的開源工具。我發現自己沉浸在 GitHub 倉庫中，閱讀冗長的技術文檔，配置似乎每次更新都會崩潰的 Python 環境，並在 Hugging Face 的 oobabooga 頁面上搜尋合適的模板。就在我設法完成一個可用的設定時，底層工具就會被棄用或發生重大更改，迫使我重新開始整個過程。
LM Studio 徹底改變了這種體驗，它將所有內容整合到一個精緻的桌面應用程式中，使下載和運行大型語言模型變得像安裝任何其他軟體一樣簡單。要離線運行 AI，您需要兩樣東西：一個量子 AI 模型和一個像 LM Studio 這樣的介面工具。量子模型是成熟 AI 模型的精簡版本，它保留了大部分功能，同時佔用更少的運算資源。您無需昂貴的伺服器級硬件，只需在配備出色 CPU 和 16GB RAM 的普通筆記型電腦上運行複雜的 AI 模型即可。有了 LM Studio，這一切都有可能 甚至在舊設備上運行人工智慧聊天機器人!
我最喜歡與 LM Studio 配合使用的量化模型之一是 Dolphin3。與那些具有大量內容過濾的主流 AI 模型不同，Dolphin3 的設計初衷是真正實用，不受任何限制。它能夠回應其他模型可能會拒絕的請求，並提供直接的答案，而不會過度解釋潛在的濫用問題。對於法醫研究、法律工作或深度對話和建議，這款無監督 AI 模型很快就成為了我的最愛之一。
幾分鐘內即可啟動並運行 Dolphin3
快速簡便的入門指南
離線設定你的AI助理並不需要你想像的那麼多技術知識。整個過程大約需要20分鐘，其中大部分時間只是等待下載完成。
第一的， 下載 LM Studio 從其官方網站下載並像其他應用程式一樣安裝。該程式相容於 Windows、Mac 和 Linux，Apple Silicon Mac 在這些 AI 推理任務上表現出色。安裝完成後，LM Studio 會開啟一個簡潔的介面，其中包含一個用於尋找模型的搜尋欄。
搜尋“Dolphin3”，您會看到多個可用版本。如果您有 16 GB 的內存，我建議您從 3 億參數版本開始；如果您的電腦內存只有 8 GB，我建議您從較小的 8 億參數版本開始。下載大小從 2 GB 到 6 GB 不等，具體取決於您選擇的版本。 LM Studio 會精確顯示每個模型所需的記憶體大小，讓您無需再擔心硬體相容性問題。
下載完成後進入介面。 諮詢 在側邊欄的右上角，點擊按鈕 選擇要載入的模型 在視窗頂部中央，已下載的模型將顯示為下拉清單。選擇 Dolphin3 開始載入模型。加載過程大約需要 30 秒，然後您就可以開始聊天了。對於任何使用過 ChatGPT 的人來說，這個介面都很熟悉，底部有一個訊息框，上方有對話歷史記錄。
在這裡，我向 Dolphin3 提問了一個問題，它的表現不錯。速度不如 ChatGPT 或 Claude 快得驚人，但也還算可以接受。如你所見，它大約在 11 秒內回覆了 320 個字（453 個字元）左右的內容，對話流暢，沒有明顯的延遲。所有操作都在本地進行，因此無論網路連接如何，響應時間都保持一致。
對話結束後，您可以按一下該按鈕。 噴出 徹底從記憶體中移除 Dolphin3。這會立即清除所有對話痕跡，並釋放系統資源。與可能無限期保留聊天記錄的雲端服務不同，移除表單可讓您完全控制何時永久刪除對話。
我為什麼喜歡使用 Dolphin3
速度快、特別、而且能力驚人。
確實不會 ChatGPT 的絕佳替代品 它沒有提供複雜的結論或最新的網路相關更新，但它在其他方面彌補了這些不足。隱私對話是這個清單的首選，在這裡我可以分享我最深層的想法和擔憂，而不必擔心資料保留政策或公司監控。這包括個人反思、情緒問題或敏感的工作環境，而這些我永遠不會信任雲端服務。
有許多 現在您可以嘗試的其他離線大型語言模型 (LLM)然而，我仍然堅持使用 Dolphin3，因為它的內容審核方法獨到。雖然模型是無監督的，但這並不意味著它無視倫理或脈絡。由於它是基於 LLaMA，而 LLaMA 是在海量多樣化資料集上訓練的，因此它仍然體現了對是非對錯的深刻理解。 「無監督」只是意味著它可以處理其他模型可能會迴避的話題，例如有爭議的政治或敏感的歷史事件。與許多感覺像是在不斷約束你言語的 AI 助理不同，Dolphin3 能夠提供誠實、直接的答案，沒有不必要的限制。最終，對話感覺更像是與一位知識淵博的朋友交談，而不是與一個經過公司嚴格審查的聊天機器人互動。你可以深入探討複雜的話題，提出令人不快的問題，而不會引發安全的講座。
我也很喜歡 LM Studio 和 Dolphin3 提供的 RAG 功能。它讓我能夠分析包含敏感資訊的合約、法律文件和隱私權政策。這些文件通常包含保密條款、專有條款或不應與雲端服務共享的個人資料。擁有一個能夠解析複雜法律語言並將所有內容保留在本地的 AI 助手，對於像我這樣的自由工作者和小型企業主來說，在處理敏感文件時具有巨大的價值。
簡短的程式設計幫助也很有效，尤其是在快速偵錯或解釋不熟悉的程式碼模式時。雖然我不依賴原生人工智慧來完成複雜的開發項目，但它擅長解決重點技術問題，並且不會將私有程式碼暴露給外部伺服器。
最後，旅行場景也為離線 AI 提供了另一個關鍵優勢。在長途通勤、遠距辦公或網路訊號較差的地區，擁有一個功能齊全的 AI 助理顯得彌足珍貴。我曾經使用 Dolphin3 來起草電子郵件、分析資料和解決問題，而這些功能在雲端替代方案中是無法實現的。
我還是用雲AI。
我無法完全放棄雲端 AI，這並非我的初衷。事實上，運行真正強大的車型需要雲端 AI，而它是完美的選擇。就我個人而言，我喜歡使用 Perplexity 進行研究和基於 Web 的任務，因為這些任務需要新鮮的資訊和龐大的知識資料庫。這些服務在需要大量運算資源、即時數據或最新訓練的任務中表現出色。
最重要的是在雲端 AI 和離線 AI 之間找到適當的平衡，以最大程度地確保隱私和安全，並最大限度地減少對基礎設施的依賴。當我需要高級功能、網頁搜尋整合或不涉及敏感資訊時，我會使用雲端服務。對於其他所有情況，尤其是涉及個人或專有資料的對話，或需要保證可用性的情況，我會使用本地部署。
