我將所有工作都轉移到了本地人工智慧，停止將文件傳送到雲端。

很長一段時間以來，我毫不猶豫地將合約貼在 ChatGPT 中，上傳機密報告請求摘要，或將客戶提案輸入到雲端 AI 工具中。直到有一天，我才停下來認真閱讀了服務條款（多年來我一直只是粗略地瀏覽一下），這才意識到：這些文件正在離開我的設備，至少暫時地存在於別人的伺服器上。有趣的是，我發現一位前同事曾經解釋過其中的原因。不要將機密資訊透露給 ChatGPT這種煩惱促使我去尋找更好的方法。

我發現了 AnythingLLM，這是一個免費開源的桌面應用程序，它允許你根據自己的文件創建完全定制的 AI 助手——而且所有操作都在你的設備上完成。它已經成為… 我每天都在使用的開源人工智慧應用程式這就是實際的改造效果。

快速連結

安裝和設定 AnythingLLM 只需幾分鐘。

它會在你開始之前就準確地告訴你你的資料會儲存在哪裡。

取得安裝檔後，請雙擊即可啟動安裝精靈。安裝過程中，它會自動下載支援元件：如果您擁有相容的 NVIDIA GPU，則還會自動下載 Ollama 的 CUDA 庫——了解這個過程後，您就會明白它的便捷之處。什麼是 CUDA 核心？它們如何提高整體運算能力？ FFProbe 用於媒體處理，Meeting Assistant 提供音訊功能。所有這些操作都不需要您進行任何輸入。從雙擊安裝程式到看到主控制面板，整個過程不到五分鐘。

打開 AnythingLLM 後，首先映入眼簾的是資料處理和隱私保護介面—強烈建議您仔細閱讀。介面明確指出，您的表單和對話只能在您的裝置上存取；文件文字使用內建的 AnythingLLM 嵌入器進行私密嵌入；您的向量資料則透過 LanceDB 儲存在本機。如果您曾經搜尋過… 什麼是向量資料庫？它如何增強人工智慧？你會發現，將此元件完全離線是保護隱私的一大勝利。沒有切換按鈕，退出選項也隱藏在設定深處。預設情況下，所有操作都保留在本機。

在隱私概覽之後，AnythingLLM 會引導您進入 LLM 首選項設定介面。其支援的供應商清單非常廣泛：雲端方面，包括 OpenAI、Anthropic、Azure OpenAI、Gemini、Groq 等；本地部署方面，則有 Ollama、LM Studio、LocalAI、KoboldCPP、Dell Pro AI Studio、Microsoft Foundry Local 和 Docker Model Runner 等。預設的「AnythingLLM」選項結合了由 Ollama 提供支援的本地模型運行器，這意味著您可以直接從應用程式下載諸如 Microsoft 的 Phi-4（9.1 GB）或阿里巴巴的 Qwen3 0.6B（僅 600 MB）之類的模型，無需任何額外設定。

如果您的機器沒有獨立顯示卡 (GPU)，也沒關係。連接到 Groq API 可讓您以近乎零成本的方式使用 Llama 3 70B 等高速推理模型，而且您只需要一個 API 金鑰即可運作。您可以隨時在設定中切換提供者，因此您不必局限於設定中選擇的選項。我一開始使用本地提供者進行測試——Phi-3 3.8B 在中階筆記型電腦上處理文件問答任務的表現讓我驚訝——然後切換到 Groq 來處理速度更重要的繁重任務。

設定完成後，AnythingLLM 會將您的個人文件轉換為專注的 AI 助理。

您的文件以更清晰的方式再次訴說著您的故事

控制面板會顯示一份入門清單和一個側邊欄，其中已預置了一個名為「我的工作區」的虛擬工作區。工作區是 AnythingLLM 的核心組織理念：每個工作區都是一個獨立的環境，您的文件和對話都可以在這裡共存。您可以將每個工作區想像成一個獨立的房間：一個用於客戶合同，一個用於內部研究，還有一個用於個人筆記。如有需要，文件可以在不同工作區之間共用，但它們不會相互幹擾，從而確保 AI 回應的專注性和準確性。

透過拖放操作即可輕鬆為工作區新增文件。 AnythingLLM 支援 Word 文件、純文字檔案、CSV 文件、電子表格、音訊文件，甚至 PDF 文件，操作方式與 Word 類似。 NotebookLM 利用它將任何 PDF 檔案轉換為互動式對話。上傳面板中還有一個「取得網站」字段，如果您想取得網頁或線上資源，只需貼上 URL，它就會自動提取內容。上傳後，AnythingLLM 會處理每個文件，拆分文字並將向量圖儲存在本地。處理一個典型的十頁 PDF 檔案只需幾秒鐘。

特工和帶有偏見的警方命令將 AnythingLLM 推向了智慧搜尋框之外的領域。

接下來才是真正精彩的部分。

AnythingLLM聊天介面會顯示活躍的@agent提示。

AnythingLLM 具備的代理功能遠遠超過簡單的文件問答。它還能執行打字操作。 @代理人 在聊天介面，您可以啟動AI代理，它可以執行各種工具呼叫任務：網頁搜尋、深度搜尋和跨應用程式操作。您可以透過AnythingLLM社群中心取得自訂代理商技能，該中心的技能庫也在不斷擴充。斜杠命令功能可讓您創建並保存用於重複性任務的提示模板，例如以統一格式總結會議記錄、以特定語氣撰寫電子郵件回复，或每次都從上傳的文檔中提取特定字段。

如果您想更進一步，可以使用瀏覽器擴充程序，透過它您可以從任何網頁與 AnythingLLM 實例進行交互；此外，還有 GPTLocalhost 集成，可以將助手直接集成到 Microsoft Word 中。需要共用存取權限的團隊可以選擇 Docker 版本，該版本增加了多用戶支援、基於角色的控制和白名單功能。桌面應用程式對於個人用戶來說已經足夠，但值得一提的是，它還提供了團隊部署方案。