最近我開始在本地運行大型語言模型（LLM），並且在看到所有 使用 MCP 工具可以做很多很酷的事情我意識到是時候稍微升級一下自己的設定了。
最初，DeepSeek R1 發佈時，我也跟風入手了一款，但之後又湧現出了許多新型號。鑑於變化如此之快，我覺得也應該優化自己的工作流程。
快速連結
LM Studio 是我目前為止使用過的最好的本地 LLM 應用程式。
Ollama不錯，但我更喜歡這個。
我去年開始嘗試使用 Ollama 進行本地大型語言模型 (LLM) 的實驗。效果還不錯，但我那台只有 8GB 記憶體的 MacBook Air 顯然無法勝任這種工作負載。我還是想嘗試一些不同的方法，一部分是出於好奇，一部分是想看看能否進一步提升效能。
這就是我決定嘗試 LM Studio 的原因。它是一款可以讓你下載大型語言模型 (LLM) 並本地運行的應用程序，而且用戶界面簡潔明了。由於我使用的是 Mac，因此對 MLX 的支援對我來說至關重要。如果你不熟悉 MLX，它是蘋果專為 Apple Silicon 設計的機器學習框架。
它本質上是讓模型能夠更有效率地利用圖形處理器（GPU）運作。不過，我想用數據來說明這一點，所以我使用同一個模型，將 Ollama 與 LMStudio 進行了直接比較。
使用 LM Studio 時，我每秒處理的符號數確實更高，但差距很小，對整體體驗並沒有太大影響。不過，任何性能上的提升我都樂意接受。
不過，我認為選擇 Ollama 還是 LM Studio 差異不大，尤其因為它們都依賴類似的本地運行模型的基本框架。
我最初遇到的主要問題是缺乏多媒體支援。但現在這已經不是什麼大問題了。 Ollama 和 LM Studio 現在都支援多媒體模板，而且還有一些強大的選項可以很好地處理本機裝置上的文字和圖像。
選擇合適的型號可能有點困難。
這可能是一項昂貴的嗜好。
首次安裝 LM Studio 時，首先需要選擇一個範本。如果您是新手，這可能會讓您感到有些困惑，因為沒有一個簡單直接的「使用此範本」的答案。正確的選擇實際上取決於您的硬體配置。
在LM Studio中開啟「模型搜尋」選單，您會看到一個最熱門模型的清單。要了解某個模型的需求量，一個簡單的方法是查看其名稱中字母「B」前面的數字。
“B”代表數十億個參數。一般來說，這個數字越高，模型的表現就越強大，但也意味著它需要更多的資源。在配備 8GB 記憶體的 Mac 上，我認為 3 億到 4 億個參數是一個比較合適的範圍。在 PC 上情況會稍微複雜一些。與系統內存不同，PC 上最重要的不是系統內存，而是顯存容量。
如果你有 8GB 的顯存，就可以輕鬆地嘗試使用 7 億個參數的模型，尤其是在量子計算量較小的配置下。根據我的經驗，最好的方法是從較小的模型開始，逐步擴展，直到找到合適的模型。
就我個人而言，我更喜歡Gemma 3 4B型號，它和Google的Gemini系列基於相同的平台。不過，我還是建議你也試試Qwen的型號。根據你的具體需求，它可能更適合你。
您甚至可以將網路搜尋功能添加到您當地的法學碩士課程中。
DuckDuckGo及時伸出援手
我看到對原生大型語言模型（LLM）最大的抱怨之一是，它們在網路搜尋方面與ChatGPT等雲端模型相比有許多限制。例如，你問的是最新iPhone，而LLM卻開始討論iPhone 14，這顯然沒什麼幫助。雲端模型在這方面確實更勝一籌。
LM Studio 內建插件系統，新增網頁搜尋功能非常簡單。只需前往… DuckDuckGo 外掛頁面並指定在 LM Studio 中運行。
啟用後，執行表單時，聊天框下方會出現一個選項，詢問您是否要使用 DuckDuckGo 進行搜尋。如果啟用此選項，LM Studio 將在產生回覆之前取得即時搜尋結果並將其顯示在表單中。
插件的功能遠不止這些。 LM Studio 團隊也開發了一些非常實用的插件。例如，他們有一個維基百科插件，可以讓你的大型語言模型讀取和搜尋維基百科上的文章（當然）。
此外，還有 JavaScript Sandbox 插件，如果您對 vibe-coding 感興趣，並想快速了解建置的內容，它會非常有用。但我認為，要用它來創造可用於生產環境的東西，並不值得。
清除大公司
您可以設定 LM Studio，以便從手機存取您的大型語言模型，但如果您想將所有推理直接傳輸到手機，這也是可以的。 在安卓手機上運行較小或較大的語言模型雖然它的性能不如Mac電腦上的那麼強大。
這些輕量級車型的改進速度依然迅猛且令人印象深刻。鑑於硬體成本預計將會上漲，如果像 OpenAI 或 Google 這樣的公司提高訂閱價格，我不會感到驚訝。令人欣慰的是，我們擁有的這套方案完全不受這些因素的影響。
