Kerwin AI Information

標籤: 迷你 LLM

  • 在瀏覽器玩轉 7 款迷你 LLM：MicroLLM Lab 實戰

    在瀏覽器玩轉 7 款迷你 LLM：MicroLLM Lab 實戰

    📌 本文重點

    • 在瀏覽器一次試跑 7 款迷你 LLM
    • 先調模型與參數，再回到專案實作
    • 對產品原型、教學、前端與 Edge AI 特別省力

    只用瀏覽器、不裝任何東西，就能一次試跑 7 款迷你 LLM，快速找到「剛好夠用」的模型原型，這就是 MicroLLM Lab 想解決的問題。

    MicroLLM Lab 是什麼？一句話定位

    MicroLLM Lab =「瀏覽器裡的 LLM 試驗場」：

    • 不需要註冊、API Key、安裝
    • 直接在頁面上切換 7 款小模型
    • 用同一組 Prompt 對比誰更適合改寫、摘要、聊天或小插件原型

    你可以把它當成：產品原型 / 前端 demo / 教學用的「模型試吃區」。

    👉 立刻開：https://stateofutopia.com/experiments/microllmlab/

    核心功能：3 件你打開就能做的事

    1. 一次試跑 7 款迷你 LLM

    頁面左上角可以直接切換模型（多半是 1B～3B 級的小模型），每一款都能在瀏覽器端直接推理。

    💡 關鍵： 1B～3B 級的小模型足以在瀏覽器直接推理，適合作為前端與 Edge AI 的原型起點。

    雖然官方沒有逐一標註品牌與參數，但可以把它們理解成：

    • 有的偏「聊天」風格
    • 有的擅長「改寫」「摘要」
    • 有的回應較短、適合做小型插件的邏輯核心

    你可以這樣用：

    1. 選一段你平常會丟給 ChatGPT 的文字（例如產品說明、英文 email）。
    2. 按順序換不同模型，丟同一個 Prompt：
    3. 請把下面說明改寫成給 PM 看的重點條列：...
    4. 看哪個模型輸出最清楚、最符合你的語氣，當作之後 prototype 的預設模型。

    2. 即時調參：溫度、最大長度、隨機性

    介面會提供常見參數例如：

    • Temperature（溫度）：控制創造力；越低越穩定、越高越發散
    • Max tokens / Max length：控制輸出長度
    • 可能還會有 Top-k / Top-p 之類的取樣參數

    💡 關鍵： 先在瀏覽器用 Temperature、Max tokens 等參數找到好用設定，再帶回專案，比一開始就改程式碼省時許多。

    立刻可以做的實驗：

    • 做穩定改寫：
    • Temperature 調到 0.1–0.3
    • Prompt：請在保留原意的前提下，換句話說：...
    • 做靈感發散：
    • Temperature 調到 0.8–1.0
    • Prompt：請用 5 種不同角度，幫這個功能想一句標語：...

    用這些小模型調參，很適合先在瀏覽器上摸索出「好用的一組設定」，再搬去你自己的前端或邊緣裝置。

    3. 導出「最小可用 Demo」的 Prompt 與配置

    MicroLLM Lab 沒有幫你一鍵生成完整前端程式碼，但它做了一件更實際的事：

    • 在同一個頁面，你可以固定：模型名稱 + Prompt 模板 + 參數
    • 把這一整組配置，視為你的 「最小可用 Demo（MVP prompt）」

    實作方式：

    1. 找到一個你滿意的模型 + 設定 + 範例 Prompt。
    2. 把這組東西 copy 下來，貼進：
    3. 你的前端專案（例如用 WebLLM、WebGPU、或前端連遠端推理 API）
    4. 或寫在產品文件、教學教材裡，當作「推薦預設值」。

    重點：你不是先寫 code 再調模型，而是先在瀏覽器裡把模型「調到好用」，再實作。

    7 款迷你 LLM：怎麼選哪一個？

    官方介面會列出 7 個可選模型（名稱可能會依版本微調），你可以用下面方式理解與選用。以下表格示意常見的「模型定位」，選擇策略才是重點：

    模型類型（示意） 核心功能 免費使用 適合誰 / 什麼任務
    Chat / General 一般聊天、問答 ✅ 想做 FAQ Bot、客服雛形、互動教學助手
    Rewrite Model 改寫、風格轉換 ✅ 行銷文案、產品說明、簡報補充文字
    Summarizer 摘要長文、抓重點 ✅ PM 看會議紀錄、設計師看需求文件
    Code Helper 簡單程式建議、小片段修正 ✅ 前端工程師調整 UI copy 或小段 JS / TS
    Logic / Tools 步驟拆解、流程草擬 ✅ 做插件邏輯草稿、流程圖前置文字
    Short Reply Bot 超短回覆、快訊 ✅ 通知型訊息、 Slack / Discord Bot 草稿
    Creative Model 腦暴點子、比喻、標語 ✅ 品牌命名、slogan、活動文案草案

    實際選模型的流程建議：

    • 先決定任務類型：改寫 / 摘要 / 聊天 / 腦暴 / 小插件邏輯
    • 針對任務，挑 2–3 個模型輪流測試
    • 把你最常用的 Prompt 存成一個「測試清單」，固定用這幾個 Prompt 去比較模型

    這樣幾輪下來，你會很快找到：

    • 「平常寫文案就用第 X 模型」
    • 「做聊天原型就用第 Y 模型」

    適合誰用？3 個高頻場景

    1. 產品原型設計：一晚做出「像真的」AI 功能

    如果你是 PM / 產品設計師：

    • 想要提案「我們 App 裡加一個 AI 助理」，但不想一開始就拉後端、請工程師接 API

    你可以：

    1. 開 MicroLLM Lab，把你想像中的對話流程貼上去。
    2. 調到一個你覺得「回得過得去」的模型與參數。
    3. 截圖 + 整理幾組範例對話，放進提案或 Figma Prototype。

    可行動結果：

    • 你在會議上不會只說「要有 AI」，而是拿出具體對話樣本，讓團隊更容易估工與拆功能。

    2. 前端 / Edge AI 開發測試：先找對「模型感覺」再寫 code

    如果你是前端或 Edge AI 開發者：

    • 準備用 WebGPU、WebAssembly 或行動裝置跑小模型

    你可以先在 MicroLLM Lab：

    1. 找出最低可接受品質的回答水平
    2. 試不同「最大 token」「溫度」對速度與品質的影響
    3. 把這組「感覺 OK 的設定」帶回你的專案

    💡 關鍵： 先用 MicroLLM Lab 找到「最低可接受品質」與對應設定，可以顯著減少在本地載模型與調參的試錯成本。

    可行動結果：

    • 少走冤枉路，不用在本地反覆載模型、改設定，只為找一組「順眼」的輸出風格。

    3. 教學與工作坊：現場示範「模型大小與效果」

    如果你在帶 AI 入門課、公司內訓：

    • 想讓非工程背景的人，快速理解：
    • 小模型可以做什麼
    • 跟 ChatGPT 這類雲端模型差在哪

    做法：

    1. 現場打開 MicroLLM Lab，請學員用自己的一段文字測試。
    2. 讓他們切換模型、調溫度，對比輸出差異。
    3. 再與他們平常用的線上大模型對比。

    可行動結果：

    • 學員對「edge / local LLM」有具體感覺，而不是抽象名詞。

    手把手：3 分鐘上手 MicroLLM Lab

    步驟 1：打開網站

    1. 確保你用的是桌面版 Chrome / Edge / Firefox（較新版本）。
    2. 進入：https://stateofutopia.com/experiments/microllmlab/
    3. 等頁面載入完，看到輸入框與模型選單就準備好了。

    行動：先準備一段你日常真會用到的文字，例如：

    • 產品需求文件片段
    • 一小段行銷文案
    • 英文郵件

    步驟 2：切換模型與輸入 Prompt

    1. 在左上角模型選單選一個模型（例如預設的 Chat 類模型）。
    2. 在輸入框貼上文字，輸入你的任務，例如：

    “`text
    任務：請幫我把下面這段話，改寫成給非技術同事看的版本，保留關鍵數字：

    （貼上原文）
    “`

    1. 按送出，觀察輸出。

    行動：

    • 把同一個 Prompt 複製，切換到另一個模型，重新貼上再跑一次。
    • 比較「語氣」「結構」「是否少講關鍵資訊」。

    步驟 3：調參數找到「你自己的預設值」

    1. 找到介面中的參數區（例如 Temperature、Max tokens）。
    2. 做兩組對比：
    3. 組 A：Temperature = 0.2，Max tokens = 256
    4. 組 B：Temperature = 0.9，Max tokens = 512
    5. 用同一個 Prompt 跑 A、跑 B，感受差異。

    行動：

    • 把你最喜歡的那一組，記錄成：
    • 模型名稱 + Temperature + Max tokens + 範例 Prompt。
    • 之後在自己專案裡接任意 LLM API（OpenAI、Anthropic、本地模型），都優先用這組設定當 baseline。

    步驟 4：導出「最小可用 Demo」

    1. 用你鎖定的模型，設計 3–5 個代表性使用場景 Prompt，例如：
    2. 「整理會議紀錄重點」
    3. 「把技術說明改成行銷文案」
    4. 「把這段流程拆成步驟」
    5. 在 MicroLLM Lab 中逐個測試，確認輸出品質穩定。
    6. 將這些 Prompt + 模型設定整理成文件，或直接貼進：
    7. Figma / FigJam
    8. Notion 提案頁
    9. 專案的 prompts.md / README 段落

    行動：

    • 把這份設定當作你產品的第一版「AI 行為規格」，再和工程師討論要用哪個實際模型落地。

    小結：把 MicroLLM Lab 當成你的「AI 試吃區」

    使用順序可以很簡單：

    • 在瀏覽器玩 7 款迷你 LLM：先找到你能接受的回答品質與風格。
    • 調參數固定一組「好用設定」：把它存起來，未來接任何模型都先用這組當 baseline。
    • 導出最小 Demo：用實際範例對話，而不是抽象需求，跟團隊溝通 AI 功能。

    不用註冊、不用安裝、完全在瀏覽器，對於想做 AI 原型、教學、前端或 Edge AI 開發的人，MicroLLM Lab 是很省力的第一站。

    👉 現在就開：https://stateofutopia.com/experiments/microllmlab/

    🚀 你現在可以做的事

    • 打開 MicroLLM Lab，選一段你真的會用到的文字，輪流試跑 7 款模型
    • 調整 Temperature 與 Max tokens，記錄一組你最順眼的「預設設定」
    • 把模型名稱 + 參數 + 範例 Prompt 整理成 prompts.md，當作下一個產品或專案的 AI 規格起點