自架 AI 全家桶實戰筆記

📌 本文重點

• 用舊 PC 搭建「迷你雲端 + 本地 AI」
• 利用 Self-Hosting Guide 系統化部署 LLM 與自動化
• 透過 WireGuard 打通安全的遠端存取通道

一句話定位：這是一份幫你在家搭一個「迷你雲端 + AI 環境」的說明書，從本地 LLM、家用自動化到安全遠端存取，一套打包。

主角是 GitHub 上超熱門的自架指南專案 mikeroyal/Self-Hosting-Guide，它像是一本持續更新的「自建 IT 生態系手冊」，你可以照著它，把一台舊 PC 變成自己的 AI 內網與家庭雲。

下面會聚焦三件跟你最有關的事：

• 怎麼選、怎麼跑本地 LLM（含硬體需求）
• 怎麼把模型接進自動化管線（Home Assistant、開發工具、自架 Git）
• 怎麼用 WireGuard 之類方案，讓整套系統能安全地從外面連回家

最後會給一條「懶人起手路線」，照做就能在一個週末搭起初版 AI 內網。

---

核心功能 1：幫你選與部署本地 LLM

Self-Hosting Guide 做的事：把本地部署 LLM 的選項、硬體需求、工具鏈整理好，讓你不用從 Reddit、HN 一篇篇啃。

1.1 怎麼挑模型？

日常自用、寫程式或辦公，其實不必直接上 70B 巨獸。你可以用這份指南搭配社群經驗，先鎖定幾種典型選項：

名稱	核心功能	免費方案	適合誰
Qwen / LLaMA 系列 Q4 量化	通用聊天、程式輔助	開源模型免費	想把 GPT/Claude 部分換成本地的人
中小型 7B-14B 模型	簡單對話、個人筆記、RAG	多數開源	硬體普通的家用機
27B–32B 模型（如 Qwen3.6-27B）	強一點的程式與長文理解	模型免費，但吃資源	有 RTX 3090 級 GPU 的進階玩家

在 Reddit 的 Qwen3.6-27B 優化案例 中，有人用 RTX 3090 + kvflash 把：

• token 生成速度提升到約 38.6 tok/s
• KV cache VRAM 從 ~21GB 降到 ~17.5GB

💡 關鍵： 單張 RTX 3090 透過 kvflash 等優化就能流暢跑 27B 級模型，讓「高階單卡跑大模型」變成實務選項。

這代表：

• 高階單卡也能跑 27B 模型
• 只要配置得當，日常 coding/聊天其實很順

你可以馬上做的事：

1. 先確認自己 GPU：
2. 無 GPU / Intel NUC / 家用舊機 → 目標 7B 量化模型
3. RTX 3060-3070 → 13B 或 14B 模型
4. RTX 3090 / 4090 → 可以嘗試 27B 以上（搭配量化 + KV 優化）
5. 打開 Self-Hosting Guide 的 LLM 章節，挑一套部署方案：
6. 想圖形化、簡單管理 → 找「Docker + Web UI」路線
7. 想自己玩細節 → 找 vLLM / text-generation-inference 等關鍵字

1.2 必備工具：Ollama / LM Studio / vLLM

本地 LLM 生態裡，以下幾種工具是常見組合（指南裡也有提到相關堆疊）：

名稱	核心功能	免費方案	適合誰
Ollama	一行指令拉模型、啟動本地 API	完全免費	想快速起一個 ChatGPT 替代的人
LM Studio	有 UI 的模型下載與啟動器	免費客戶端	不熟 CLI 的使用者
vLLM	高效推理框架，支援長上下文、KV 優化	開源	想追求高吞吐、寫服務端的工程師

你可以馬上做的事（以 Ollama 為例）：

1. 在你的 Linux / macOS / Windows 安裝 Docker（或直接安裝 Ollama）：
   bash
curl -fsSL https://ollama.com/install.sh | sh
2. 拉一個通用聊天模型（例如 qwen:7b）：
   bash
ollama pull qwen:7b
ollama run qwen:7b
3. 開啟瀏覽器，接一個簡單 Web UI（比如 Open WebUI 或指南中的前端項目），就有本地 Chat。

---

核心功能 2：把模型接進自動化管線

只在終端機裡跟模型聊天很快會膩，Self-Hosting Guide 的價值是教你：怎麼讓模型變成你家裡與工作流的一部分。

2.1 家用場景：結合 Home Assistant

指南中有完整一章介紹 Home Assistant，你可以這樣用：

• 讓 LLM 幫你：
• 轉換你說出的自然語言成自動化指令（例如：「我出門了」→ 關燈 + 關冷氣 + 啟動警報）
• 設計複雜條件自動化（比如天氣 + 家人是否在家 + 時間條件）

你可以馬上做的事：

1. 在家裡一台常開機器（NUC/舊 PC）裝好 Docker。
2. 依照指南，跑起 Home Assistant Docker 容器。
3. 把本地 LLM 提供的 API（例如 Ollama 預設在 http://localhost:11434）接進 Home Assistant：
4. 透過 Home Assistant 的 REST / Webhook 自定義整合
5. 或查指南中列出的 LLM 插件項目，選現成方案

這樣就能做到：「家裡的自動化規則，全部走本地，不往外傳」。

💡 關鍵： 把 Home Assistant 與本地 LLM 串起來，就能在完全離線的情況下，用自然語言控制整個智慧家居。

2.2 工作場景：自架開發工具 + Git 服務

Hacker News 上有不少人分享，已經用本地模型取代部分 GPT/Claude 的日常 coding（參考：Ask HN: Has anyone replaced Claude/GPT with a local model for daily coding?）。Self-Hosting Guide 把這些需求拆成幾件事：

• 自架 Git 服務（例如 Gitea）
• 自架 Code Review / CI 工具
• 本地 LLM 提供程式輔助、摘要、Code Review

你可以馬上做的事：

1. 按指南起一個 Gitea / GitLab Self-Hosted：
2. 管理自己專案
3. 把程式碼全部留在家裡伺服器
4. 啟動一個專門幫你寫程式的本地模型（例如 13B 量化模型）：
5. 用 VS Code / Neovim 插件，把 LLM API 指到你的本地網址
6. 讓「Copilot 類功能」完全在你自家網路裡運行

---

核心功能 3：用 WireGuard 打通「安全外網」

你在家裡搭了一堆服務（LLM、Home Assistant、Git），下一步就是：如何在外面（公司、咖啡店）也能安全用到？

Self-Hosting Guide 花了不少篇幅介紹 WireGuard，重點是：

• 比傳統 VPN 設定簡單
• 效能好、延遲低
• 適合「家裡一台主機 + 多台手機/筆電」的拓撲

你可以馬上做的事：

1. 按指南在家用伺服器上安裝 WireGuard：
   bash
sudo apt install wireguard
2. 建立一個基本設定（指南裡有範本）：
3. 伺服器端設定 IP 範圍（例如 10.0.0.1/24）
4. 每台裝置一組 key
5. 在手機、筆電裝 WireGuard App，把設定檔匯入。
6. 測試從外網連回家裡的 Home Assistant / LLM Web UI：
7. 確認只透過 VPN 通道能接入
8. 不把服務直接暴露在公網

這樣做完，你就可以在外面用自己的「家用 GPT」，而不怕資料跑到第三方。

💡 關鍵： 用 WireGuard 把家裡變成「只給自己與信任設備開放」的私人雲端，比直接開公網埠安全太多。

---

適合誰用？幾個具體情境

1. 家裡有一台舊電腦，想做點有趣但不想再裝一堆雲服務的人

• 把它變成：NAS + LLM + Home Assistant 的整合機
• 儲存相片、影音，順便當你的「家庭 ChatGPT」

2. 想降低雲端 LLM 成本的開發者 / 早期團隊

• 常用功能（例如程式補全、文件摘要）搬回本地
• 只在需要強模型時才連外部 API

3. 對隱私敏感的自由工作者 / 企業

• 客戶文件、程式碼不想上雲端
• 自己管理整個資料與模型環境

4. 喜歡折騰硬體與自動化的玩家

• 把 Home Assistant + LLM 玩到極致
• 用 WireGuard 把家當作自己的「個人雲端」。

---

怎麼開始：一週末搞定的懶人路線

最後總結一條 「起手路線」，照著走就能搭出你的第一版 AI 內網。

Step 0：準備一台舊機 + Docker

• CPU：近 5 年內的桌機或筆電
• RAM：至少 16GB
• GPU：沒有也行（先跑 7B 小模型），有 RTX 3060 以上更好
• OS：建議 Ubuntu Server / Debian
• 安裝 Docker + docker-compose

Step 1：部署 1 個聊天模型（Ollama）

1. 安裝 Ollama（或依照 Self-Hosting Guide 中的建議）：
   bash
curl -fsSL https://ollama.com/install.sh | sh
2. 拉一個通用模型（例如 llama3:8b 或 qwen:7b）：
   bash
ollama pull llama3:8b
3. 啟動並確認能在瀏覽器/CLI 聊天。

Step 2：部署 1 個文件 / RAG 服務

1. 選一個簡單 RAG 專案（例如指南裡推薦的開源 RAG Web UI）：
2. 用 Docker 起一個 Web 服務
3. 把本地 PDF / Markdown 丟進去建立索引
4. 把 RAG 的 LLM 後端指向 Ollama 的 API：
5. 在設定頁填入 http://host.docker.internal:11434 或你的本地 IP
6. 測試：輸入「幫我整理公司 A 專案會議紀錄」，看回答是否依據你的文件。

Step 3：逐步擴展成「個人 AI 內網」

每成功一小步，就再加一個服務：

1. 接 Home Assistant：
2. 先只用它做幾條簡單自動化（睡前關燈、出門關冷氣）
3. 再讓 LLM 參與規則設計與自然語言控制
4. 接開發工具：
5. 在 VS Code 裝支援自定義 LSP / LLM 的插件
6. 把 endpoint 指向你本地 LLM
7. 最後再加上 WireGuard：
8. 把整套「迷你雲端」安全地帶出門用

整個過程不用一次到位，只要跟著 Self-Hosting Guide 的章節，一個一個勾：

• LLM → Automation → Home Assistant → WireGuard → 其他服務

做完，你就會有一個完全掌控、可隨時擴充的「自架 AI 全家桶」。

---

如果你一直想把 GPT 類工作能力留在自己家裡，這份 Self-Hosting Guide 值得直接 Star 收藏，照著它，一台舊機 + 一個週末，就能搭出你的第一個「個人 AI 內網」。

🚀 你現在可以做的事

• 打開 Self-Hosting Guide，先 Star 並閱讀 LLM 相關章節
• 在一台舊電腦上安裝 Docker + Ollama，實際跑起一個 7B 模型試用
• 依照指南部署 Home Assistant 與 WireGuard，把本地 LLM 串進家庭自動化與遠端存取