你可以在安卓手機上運行一個小型語言採樣器（而且應該這樣做）。

我一直在電腦上搗鼓本地法學碩士（LLM）項目，已經有一段時間了。這一切最初只是我的一個嗜好。 我在我的 Mac 上本地運行了 DeepSeek-R1。現在，這已成為我工作流程中非常令人興奮的一部分。

我幾乎試遍了所有流行的安卓原生AI推理應用，效能始終是最大的瓶頸。畢竟，這是手機，硬體本身就存在著許多限制。因此，軟體方面至關重要。而這正是MNN Chat的優勢所在。

MNN Chat 是我用過的最好的本地 LLM 應用程式。

我仍然希望 Ollama 能推出安卓版。

MNN Chat 最吸引人的地方在於它實際上是阿里巴巴開發的開源專案。其推理引擎專為在行動裝置上高效運行邏輯線性模型 (LLM) 而設計，無需依賴高階 GPU。雖然該應用程式已在 Play 商店上架，但您也可以在其 GitHub 頁面上查看原始程式碼。

就我測試過的原生安卓模型而言，它的表現目前為止是最好的。但在開始之前，你需要了解一些事情。首先，你需要一部性能相當不錯的手機。我所有的模型都是在配備 12GB 記憶體的三星 Galaxy S24 Ultra 上運行的，這在手機界絕對是高階配置。

不過，如果您想更穩健一些，即使是小型號，也至少需要 8GB 內存才能獲得流暢的使用體驗。它還配備了其他一些實用功能。如果您不確定哪款型號性能最佳，可以使用內建的基準測試模式來輔助選擇。

您也不需要上網搜尋可用的模型。 MNN Chat 內建了模型庫，您可以直接在應用程式內尋找和下載模型，無需離開應用程式。

您將獲得一整套可供使用的模型。

無需自行下載模板。

設定 MNN Chat 其實非常簡單。你只需要打開應用，然後進入模型市場。在這裡，你會看到所有可透過 Hugging Face 下載的模型清單。如果你還不了解 Hugging Face，它本質上是最大的開源 AI 模型庫之一。

在這裡，你只需點擊所需模板旁邊的「下載」按鈕，下載完成後即可使用。最棘手的部分其實是決定要選擇哪個模板。

在清單中，你會看到一些熟悉的名字，例如 Qwen、DeepSeek 或 Llama。你會很快注意到，每個型號名稱都包含一個數字，後面跟著字母 B，例如 gemma-7b。

這裡的字母 B 代表數十億參數。簡單來說，這個數字越高，模型效能越強，但同時也會佔用更多內存，導致手機運行速度變慢。對於大多數中階或旗艦智慧型手機，我推薦參數數不超過 4 億的機型，但這實際上取決於你的手機型號。以我的經驗來看，Qwen 的模型通常是最好的，而且它們甚至還具備多媒體功能。

下載完成後，您只需前往 我的模特兒然後就可以開始跟它聊天了。你甚至可以點擊右上角的漢堡選單，然後依序進入「設定」>「系統提示」來編輯系統提示。

您還可以在此處更改新令牌的最大數量，這可以控製表單的回應在停止生成文字之前可以持續多長時間。

它不僅限於大型語言模型（LLM）。

2025年，創作文本將過時。

在模型市場中，您可能已經注意到有幾個類別，分別用於創建圖像、音訊、視訊等等。顧名思義，您可以下載並運行功能更強大的模型，它們不僅可以創建文本，還包括可以處理圖像的多媒體模型。

它的一大亮點在於可以將不同類型的表單組合起來，以實現類似 ChatGPT 語音模式的功能。當您執行大型語言表單 (LLM) 時，您可能已經注意到右上角有一個電話圖示。

接下來，您需要下載一個您選擇的文字轉語音模型。您還需要一個自動語音辨識（ASR）模型，將您的語音轉換為文字。完成這些設定後，您就可以開始透過語音與本地大型語言模型（LLM）互動了。

請記住，正如我之前提到的，所有這些模型都會很快佔用大量空間。如果您想使用 HuggingFace 上沒有的模型，可以透過 ADB 自行匯入。