無需訂閱,即可在您的裝置上運行 4 款免費工具,打造強大的 AI 體驗

並非每個人都願意付費訂閱人工智慧服務,而且隨著人工智慧訂閱成本的上漲,一開始就選擇付費訂閱可能不是一個好主意。 如果你買了 Perplexity 的年度訂閱,那你被騙了。每月支付 20 美元訂閱任何人工智慧服務,很快就會累積成一筆不小的開支。

無需訂閱,即可在您的裝置上運行 4 款免費工具,打造強大的 AI 體驗

隨著量子模型的日益普及,你很有可能會在本地電腦上運行強大的AI模型。幸運的是,有許多免費工具可以讓你無需訂閱即可直接在電腦上運行許多強大的AI模型。

奧拉馬

安裝一次,然後將模板作為軟體包拖入即可。

Ollama 網站已在 Zen 瀏覽器中開啟。

如果您熟悉命令列,Ollama 是在本機上運行大型語言模型 (LLM) 的最快方式。安裝後,打開終端,然後輸入以下命令。 ollama 跑 [模型名稱] 您將在終端機視窗中執行本機 AI。例如,如果您想執行 Meta 提供的開源 Llama 3 模型,請使用下列命令:

駱駝跑駱駝3

Ollama 的設計以 API 為核心,其工作原理如下:它會在您的裝置上執行與 OpenAI 格式相容的本機 REST API。這意味著,您為 ChatGPT 創建的任何應用程式或腳本都可以透過極少的程式碼變更路由到您的本機模型。它建造的是一個完整的基礎設施,而不僅僅是一個聊天機器人,這也是它深受開發者歡迎的原因之一。

該應用程式開箱即用,支援超過 30 種最佳化模型,包括 Llama 3、DeepSeek、Mistral 和 Phi-3。它可在 Windows、macOS 和 Linux 系統上運行,與其他工具相比,佔用系統記憶體極少。它唯一的缺點是缺少圖形介面,因此如果您不習慣使用終端,則需要尋找其他替代方案。

LM工作室

在手機上下載並運行類似人工智慧的應用程式

如果您喜歡使用圖形介面,LM Studio 是最容易使用的應用程式之一。它提供了一個桌面介面,使用戶可以直接瀏覽 Hugging Face、下載定量模型和修改系統設置,而無需設定檔。

它還具有諸如無需圖形介面即可進行伺服器操作、具有連續聚合功能的平行推理請求以及支援本地 MCP 伺服器的全新最先進的 REST API 等功能。對於日常使用而言,圖案辨識功能仍然是最突出的。

您無需離開應用程式介面,即可按尺寸、效能和相容性搜尋、比較和下載型號。 LM Studio 還包含一個本機伺服器,可在您的裝置上啟用 OpenAI 相容的 API,使其可作為其他工具的後端伺服器。該應用程式支援 Nvidia 和 Apple Silicon 的圖形處理單元,並包含內建的基準測試功能,用於比較不同型號在您裝置上的效能。它的缺點是它是基於 Electron 的應用程序,這意味著除了模型本身的資源消耗之外,它還會消耗更多的 RAM。

GPT4全部

大型離線語言範本最簡單的起點

GPT4All 是另一個可以在本機上快速運行 AI 的簡單選擇。如果您以前從未在本地運行過 AI 模型,並且覺得這個想法令人生畏(在 Hugging Face 上比較多個模型可能會讓您感到不知所措),那麼 GPT4All 就是您的理想起點。下載該應用程序,打開它,從內建清單中選擇一個模型,即可立即開始聊天。

這款應用程式最突出的功能是 LocalDocs,它是一個內建的 RAG(檢索增強生成)系統。只需將其指向包含 PDF、文字檔案或 Markdown 文件的資料夾,它就會自動為所有內容建立索引。當您提出問題時,表單會從您的文件中提取相關的片段,而不是僅依賴自身的訓練資料。

GPT4All 在僅使用 CPU 的情況下也能表現出色,因此非常適合筆記型電腦或老舊機器,這些機器未必具備運行大型 AI 模型所需的強大硬體。它支援 Windows、macOS 和 Linux 系統。然而,易用性帶來的便利性是以靈活性的犧牲為代價的——它不像 Ollama 和 LM Studio 那樣提供對上下文視窗和量化設定的精細控制。

Jan 將 ChatGPT 體驗帶到了您的桌面。

Jan 與其他工具採取了不同的方法。它並非僅僅是一個大型語言模型 (LLM) 驅動程序,而是旨在成為一個完整的離線幫助平台,具有簡潔、類似 ChatGPT 的介面。它完全開源,並且從一開始就將隱私保護放在首位,因此,雖然您得到的是一個看似完整的產品,但您的資料是安全的。

設定也極為簡單:下載 Jan,選擇一個適合您裝置的範本(如果您拿不定主意,應用程式會幫您選擇),然後就可以開始聊天了。它還直接與 Hugging Face 集成,因此您可以直接從使用者介面瀏覽和下載 Qwen、Llama 和 Mistral 等模板。與 Ollama 和 LM Studio 一樣,Jan 也會在 1337 連接埠上設定一個本機 API 伺服器,模擬 OpenAI API,允許您將其連接到 VS Code 以進行[不清楚 - 可能「不清楚 - 可能「不清楚」]。 創建本地人工智慧驅動的編碼助手或與自訂腳本集成,或任何其他透過 HTTP 運行的功能。

模板下載完成後,程式即可離線運作。它支援 Windows、macOS 和 Linux 系統,並基於名為 Cortex 的通用引擎運行。如果您想要獲得與 ChatGPT 最接近的體驗,但又不想實際使用 ChatGPT,那麼 Jan 是一個非常好的選擇。

現在在本地運行人工智慧比以往任何時候都更容易。

量子模型使得在配置一般的硬體上運行大型人工智慧模型成為可能。有許多 允許您在本地計算機上享受人工智能的應用程序但是,要正確操作這些型號,您需要滿足一定的硬體要求。

一般來說,6GB 記憶體和一台現代 CPU 就足夠了。但是,對於更大的模型和更好的體驗,建議使用 16GB 記憶體、至少 8GB 顯示的獨立顯示卡,以及用於儲存模型和資料的固態硬碟 (SSD)。

付費訂閱人工智慧服務現在是一種選擇,而非必要。無論您是希望掌控 API 的開發者、注重隱私不希望資料離開裝置的一般用戶,還是只是想在不付費訂閱的情況下體驗人工智慧服務的用戶,總有一款應用程式能讓您以適合自身需求的方式使用本地人工智慧。

轉到頂部按鈕