現在您可以嘗試的最佳本地（線下）法學碩士 (LLM) 課程模式

隨著 HuggingFace 等平台上強大的 LLM 模型日益普及，以及 H2O、TextGen 和 GPT4All 等 AI 系統的不斷進步，您現在可以直接在電腦上下載並執行 LLM 模型。這意味著您無需網路連線即可靈活安全地存取 AI 功能。如果您想在本地體驗 AI，以下九個最佳的離線 LLM 模型可供您立即嘗試，它們不僅速度快、安全可靠，還能防止提供者存取您的資訊。

1. Hermes 2 Pro GPTQ

Hermes 2 Pro 是一款由 Nous Research 精心調優的先進語言模型。它使用了 OpenHermes 2.5 資料集的更新版本和純淨版本，以及內部開發的全新函數呼叫和 JSON 模式資料集。該模型基於 Mistral 7B 架構，並基於 1000000 條 GPT-4 品質或更高品質的指令/對話進行訓練，這些資料主要來自合成資料。

Mistral 7B 搭載的 Hermes 2 Pro 是 Hermes 7B 的全新旗艦型號，在 AGIEval、BigBench Reasoning、GPT4All 和 TruthfulQA 等多項基準測試中均表現出色。其增強的功能使其適用於各種自然語言處理 (NLP) 任務，例如程式碼生成、內容創建和 AI 聊天應用程式開發。

下載：Hermes 2 Pro GPTQ 通過 擁抱臉

2. Zephyr 7B Beta

Zephyr 是一系列經過訓練的語言模型，旨在成為實用助手。 Zephyr-7B-Beta 是該系列的第二個模型，基於 Mistral-7B-v0.1 進行微調，並使用直接偏好優化 (DPO) 方法在一系列公開的合成資料集上進行最佳化。

透過移除訓練資料集的內建對齊功能，Zephyr-7B-Beta 在 MT-Bench 等基準測試中展現出更佳的性能，從而增強了其在各種任務中的實用性。然而，這種修改在某些挑戰下可能會導致文字生成出現問題。

下載：Zephyr 7B Beta 透過 擁抱臉

3. Falcon Instruct GPTQ

Falcon 的量子版本是基於 TII 原始 Falcon-7b 模型的更高精度、僅解碼器架構。基礎 Falcon 模型使用從公共互聯網獲取的 1.5 兆個令牌進行訓練。作為獲得 Apache 2 許可的僅指令解碼器模型，Falcon Instruct 非常適合尋求用於語言翻譯和資料輸入的模型的小型企業。

然而，此版本的 Falcon 並不適合微調，僅用於推理。如果您想微調 Falcon，則需要使用原始模型，這可能需要存取企業級訓練硬件，例如 NVIDIA DGX 或 AMD Instinct AI 加速器。

下載：Falcon-7B-Instruct 通過 擁抱臉

4. GPT4ALL-J Groovy

GPT4All-J Groovy 是一個由 Nomic AI 微調的純解碼器模型，並遵循 Apache 2.0 授權。 GPT4ALL-J Groovy 基於原始 GPT-J 模型，該模型以其出色的根據提示生成文字的能力而聞名。 GPT4All-J Groovy 經過微調，可用作聊天模型，非常適合快速且富有創意的文字生成應用程式。這使得 GPT4All-J Groovy 成為內容創作者的理想之選，可幫助他們創作詩歌、音樂或故事等作品。

不幸的是，基礎的 GPT-J 模型是在純英語資料集上訓練的，這意味著即使是經過微調的 GPT4ALL-J 模型也只能用英語聊天和生成文字。

下載：GPT4ALL-J Groovy 擁抱臉

5. DeepSeek Coder V2 使用說明

DeepSeek Coder V2 是一種增強程式設計和數學推理能力的高階語言模型。它支援多種程式語言，並提供擴展的上下文長度，使其成為開發人員的多功能工具。

與前代產品相比，DeepSeek Coder V2 在程式設計、推理和通用能力方面均有顯著提升。它支援的程式語言從 86 種擴展到 338 種，上下文長度從 16 個符號擴展到 128 個符號。在標準基準測試中，它的表現優於以下模型： GPT-4渦輪 و 克勞德 3 作品 以及 Gemini 1.5 Pro 在編碼和數學基準測試中的表現。

下載：DeepSeek Coder V2 指導 擁抱臉

6.Mixtral-8x7B

Mixtral-8x7B 是由 Mistral AI 開發的稀疏混合專家 (MoE) 模型。此模型每個 MLP 包含 8 位專家，總共包含 450 億個參數。然而，在推理過程中，每個 token 僅啟動兩位專家，因此其計算效率高，且速度和成本與擁有 120 億個參數的密集模型相當。

Mixtral 支援 32 個詞條的上下文長度，在大多數基準測試中均優於 Llama 2（70B），達到或超過了 GPT-3.5 的表現。它精通多種語言，包括英語、法語、德語、西班牙語和義大利語，是各種自然語言處理任務的通用選擇。

下載：Mixtral-8x7B 透過 擁抱臉

7. Wizard Vicuna 未經審查-GPTQ

Wizard-Vicuna GPTQ 是基於模型 Wizard Vicuna 的量化版本 駱駝與大多數公開發布的 LLM 模型不同，Wizard-Vicuna 是一個無監督模型，其控制已被移除。這意味著該模型不具備與大多數模型相同的安全性和道德標準。

雖然這可能會給控制人工智慧帶來問題，但擁有一個無監督的 LLM 模型也能充分發揮模型的最大優勢，因為它允許模型不受任何約束地回答問題。這也允許用戶圍繞人工智慧的行為方式或基於特定提示的回答方式添加自訂對齊方式。

下載：Wizard-Vicuna-30B-Uncensored-GPTQ 透過 擁抱臉

8. Orca Mini-GPTQ

您是否想體驗一個採用獨特學習方法訓練的模型？ Orca Mini 是微軟 Orca 研究論文的非正式模式實作。它採用師生學習方法進行訓練，資料集中充滿了解釋，而不僅僅是提示和回應。理論上，這種客製化應該會產生更聰明的學習器，因為該模型能夠理解問題，而不是像典型的 LLM 模型那樣簡單地搜尋輸入輸出對。

Orca Mini GPTQ 僅有 30 億個參數，即使在效能較弱的系統上也易於運作。然而，該模型不應用於任何專業用途，因為它會產生虛假資訊以及帶有偏見和濫用的回應。該模型應用於學習和試驗 Orca 及其方法。

下載：Orca Mini-GPTQ 透過 擁抱臉

9. 駱駝 2 13B 聊天 GPTQ

Llama 2 是原版 Llama LLM 的繼承者，效能和多功能性都有所提升。 13B ChatGPTQ 變體針對對話式 AI 應用進行了微調，並針對英語對話進行了最佳化。

Llama 2 旨在用於商業和研究用途。授權條款允許用戶數少於 700 億的公司免費使用。對於尋求強大且只需極少額外培訓的聊天機器人解決方案的組織而言，此模式是理想之選。

下載：Llama 2 13B Chat GPTQ 透過 擁抱臉

上述某些模型在參數方面有多個版本。通常，參數較高的版本會產生更好的結果，但需要更強大的硬體；而參數較低的版本會產生品質較低的結果，但可以在效能較低的硬體上運行。如果您不確定您的電腦是否可以運行此模型，請先嘗試使用參數較低的版本，然後繼續使用，直到您覺得效能下降不再可接受為止。現在您可以查看 你應該使用本地 LLM 模式嗎？優點、缺點和最佳實踐.