LLM API - Kerwin AI Information

📌 本文重點

一個 OpenAI 風格 /v1 入口接 34 家免費 LLM

改 baseURL 即可把現有專案切到免費模型

內建智慧路由、故障切換與 API key 加密

特別適合 side project、AB test 與教學場景

用 freellmapi，你可以用一個 OpenAI 風格的 /v1 API，一次接上 34 家免費 LLM 供應商、635 個模型端點，還幫你自動路由、故障切換與加密 API key。

專案連結：tashfeenahmed/freellmapi on GitHub

核心功能：為什麼值得多看一眼？

1. 統一 OpenAI 風格 API，一行替換

freellmapi 把所有免費 LLM 都包成一個 OpenAI 相容的 /v1 入口，你原本用 OpenAI 的程式碼，只要改「base URL」就能直接跑：

不需要逐家閱讀文件（OpenAI、DeepSeek、Groq…）
不需要改 SDK，只動環境變數或初始化設定

行動建議：

先想一個你現在在用的 OpenAI 小專案（chatbot、摘要、工具人腳本），等等在「實作教學」小節，直接照著把它改接 freellmapi 當後端。

💡 關鍵： 只改 baseURL 就能讓既有 OpenAI 專案直接跑在 34 家免費 LLM 上，幾乎零改動成本。

2. 智慧路由與自動故障切換

freellmapi 會在後端幫你：「這次要用哪個免費模型？」

以你設定的「模型白名單」與「路由策略」挑選模型
若某個供應商 rate limit 或掛掉，自動換下一個
同一個「邏輯模型名」可以對應多個實際端點

效果：你把請求打到 model: "gpt-4-free" 這種自訂名字，背後實際可能是不同家的 GPT-4 等級替代品，但你的應用程式不用改任何邏輯。

行動建議：

在自己的 side project 裡，把「重要的核心功能」放到多個模型輪詢（多條路），就算其中一條限流，你的服務還是能繼續回應。

3. API key 加密保護

freellmapi 需要你提供各家免費 LLM 的 API key，它會：

在本機或伺服器端加密儲存 key
只在轉發請求時解密使用

好處是：

你可以在團隊裡共用一個 freellmapi 服務，而不用把各家 key 散落在每個人電腦
教學／工作坊環境，學員只要打到你架好的 freellmapi，不用自己申請一堆 key

行動建議：

如果你常在 Meetup / 企業內訓帶 AI workshop，可以先在自己的 VPS 架一個 freellmapi，把所有免費 LLM key 放裡面，課上只給一個 endpoint 給學員使用。

💡 關鍵： 把多家 API key 集中加密管理在 freellmapi 上，可以兼顧團隊共享、教學便利與安全性。

適合誰用？三種典型場景

1. 個人 side project：免成本把服務「先上線」

情境：你想做一個小產品（例如：履歷優化、腳本生成工具），但不確定會不會有人用，不想一開始就綁 OpenAI 月費或高額 token 費用。

freellmapi 可以：

把所有請求先跑在免費 LLM 上，把成本壓到接近 0
等服務有流量、驗證需求後，再考慮導回 OpenAI 或付費模型

可以立刻做的事：

按照後面「怎麼開始」部署 freellmapi
把你的 side project OPENAI_BASE_URL 改成 freellmapi
設一個環境變數 LLM_ENV=free，未來要切回付費，只要改環境

💡 關鍵： 先用免費 LLM 驗證產品市場，等真的有流量再切回付費模型，可以大幅壓低前期開發成本。

2. 替代／補充 OpenAI：做多模型 AB test

情境：你想比較「不同模型在同一個任務上的表現」，例如：

哪個模型對客服問答最穩定？
哪個模型摘要長文比較不亂砍重點？

用 freellmapi，你可以：

在設定裡定義一組「候選模型」
讓應用程式隨機或輪詢分配模型，收集回應
做 AB / ABC test，再決定要長期用誰

可以立刻做的事：

在後面「多模型回答比較小工具」段落，照範例做一個簡單的「輸入同一個 prompt，拉出多模型回答」的 internal tool，幫你更快做選擇。

3. 教學／工作坊：一個 endpoint 全班共用

情境：你要開一門「用 API 串 LLM」的課：

如果叫學生各自申請 OpenAI / 各家帳號，流程會拖很久
如果用單一共享 key，很容易被濫用或不小心外流

freellmapi 做法：

你在雲端部署一個 freellmapi
學員只要在程式裡填一個 BASE_URL + 你發的一組 class token
你的伺服器決定實際用哪些免費模型、怎麼路由

可以立刻做的事：

下一期課程，試著在教案裡只給一份「freellmapi endpoint + 例子程式碼」，把重點放在「怎麼設計 prompt、怎麼串接應用」，而不是每家註冊流程。

怎麼開始：從部署到改程式，一次走完

1. 安裝與部署（本機 / 雲端）

先到 GitHub 下載專案：

git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi

freellmapi 是用 TypeScript / Node.js 寫的，你需要：

Node.js（建議 18+）
pnpm 或 npm / yarn

安裝依賴與啟動（以 pnpm 為例）：

pnpm install
pnpm build
pnpm start
# 預設會在 http://localhost:3000（實際以 repo 說明為主）

如果要丟到雲端：

可直接丟到 Render、Railway、Fly.io 等支援 Node 的平台
把 PORT 設成平台給你的 port，HOST 設 0.0.0.0

行動建議：

先在本機跑起來，用 curl 測一下：

curl http://localhost:3000/health
# 若回應 OK 類訊息，代表 freellmapi 正常啟動

2. 把原本用 OpenAI SDK 的程式改指向 freellmapi

freellmapi 是 OpenAI 相容 API，重點只有兩件事：

改 baseURL 指向 freellmapi
apiKey 用 freellmapi 的 key（或你設定的任意字串），模型名按照 freellmapi 支援的命名

Node.js 範例（原本用 OpenAI）

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.OPENAI_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "gpt-4o-mini",
  messages: [{ role: "user", content: "幫我寫一段產品介紹" }],
});
console.log(resp.choices[0].message.content);

改成指向 freellmapi

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.FREELLMAPI_KEY || "test-key", // freellmapi 端驗證用
  baseURL: process.env.FREELLMAPI_BASE_URL || "http://localhost:3000/v1",
});

const resp = await client.chat.completions.create({
  model: "gpt4-free-mix", // 你在 freellmapi 裡定義的邏輯模型名
  messages: [{ role: "user", content: "幫我寫一段產品介紹" }],
});

console.log(resp.choices[0].message.content);

行動建議：

直接把你現有專案的 baseURL 抽成環境變數，方便之後一鍵切回 OpenAI：

# .env
LLM_BASE_URL=http://localhost:3000/v1
LLM_API_KEY=test-key

Python 範例（原本用 OpenAI）

from openai import OpenAI
import os

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "用一句話介紹台北"}],
)

print(resp.choices[0].message.content)

改成指向 freellmapi

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("FREELLMAPI_KEY", "test-key"),
    base_url=os.getenv("FREELLMAPI_BASE_URL", "http://localhost:3000/v1"),
)

resp = client.chat.completions.create(
    model="city-intro-free",
    messages=[{"role": "user", "content": "用一句話介紹台北"}],
)

print(resp.choices[0].message.content)

3. 設定路由策略與模型白名單（概念版）

實際設定檔請以 repo 中的說明為主，這裡用一個簡化的概念例子：

// models.config.json
{
  "logicalModels": {
    "gpt4-free-mix": {
      "strategy": "round_robin",
      "providers": [
        { "name": "providerA", "model": "gpt-4-alt-1" },
        { "name": "providerB", "model": "gpt-4-alt-2" }
      ]
    },
    "city-intro-free": {
      "strategy": "fallback",
      "providers": [
        { "name": "providerC", "model": "fast-lite" },
        { "name": "providerD", "model": "backup-lite" }
      ]
    }
  }
}

round_robin：多模型輪詢，適合平均分流、做 AB test
fallback：按順序嘗試，失敗才換下一個，適合有「主力模型」的情境

行動建議：

先定義 1 個你常用任務（例如：客服回覆），設 2–3 個候選模型，用 round_robin 跑一週，看看哪個回覆風格最適合，再把不適合的從白名單移除。

多模型回答比較：做一個小內部工具

這是一個「輸入同一個 prompt，並行打多個模型，最後把回答排在一起比」的簡單例子（Node，使用同一個 freellmapi endpoint）：

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: "test-key",
  baseURL: "http://localhost:3000/v1",
});

const models = ["gpt4-free-mix", "city-intro-free", "long-doc-free"];

async function compareModels(prompt: string) {
  const tasks = models.map(async (model) => {
    const resp = await client.chat.completions.create({
      model,
      messages: [{ role: "user", content: prompt }],
    });
    return {
      model,
      answer: resp.choices[0].message.content,
    };
  });

  const results = await Promise.all(tasks);

  for (const r of results) {
    console.log("=====", r.model, "=====");
    console.log(r.answer);
    console.log();
  }
}

compareModels("請用三點條列說明：使用 freellmapi 的優點");

你可以把這段包成一個簡單的 CLI 或小網頁，讓團隊成員在設計 prompt 或選模型時，有一個快速對照的工具。

小結：把 freellmapi 當成「免費 LLM 門面」

使用策略可以簡單記：

開發期：全部走 freellmapi，專心做產品與實驗
上線後：把關鍵路徑逐步切到穩定的付費模型，freellmapi 當備援或 AB 測試平台
教學 / 團隊內訓：freellmapi 當唯一 endpoint，避免新人被一堆帳號與 key 卡住

如果你手上已經有任何使用 OpenAI 的程式碼，現在只需要改一行 baseURL，就能開始玩 34 家免費 LLM，這就是 freellmapi 最實際的價值。

🚀 你現在可以做的事

打開一個現有的 OpenAI 專案，先把 baseURL 抽成環境變數，預留接 freellmapi 的位置

到 GitHub 把 tashfeenahmed/freellmapi clone 下來，在本機跑起來並用 curl /health 測試

寫一個簡單腳本，對同一個 prompt 呼叫多個邏輯模型，開始比較免費 LLM 的表現

標籤: LLM API

一行 API 串 34 家免費 LLM

核心功能：為什麼值得多看一眼？

1. 統一 OpenAI 風格 API，一行替換

2. 智慧路由與自動故障切換

3. API key 加密保護

適合誰用？三種典型場景

1. 個人 side project：免成本把服務「先上線」

2. 替代／補充 OpenAI：做多模型 AB test

3. 教學／工作坊：一個 endpoint 全班共用

怎麼開始：從部署到改程式，一次走完

1. 安裝與部署（本機 / 雲端）

2. 把原本用 OpenAI SDK 的程式改指向 freellmapi

Node.js 範例（原本用 OpenAI）

改成指向 freellmapi

Python 範例（原本用 OpenAI）

改成指向 freellmapi

3. 設定路由策略與模型白名單（概念版）

多模型回答比較：做一個小內部工具

小結：把 freellmapi 當成「免費 LLM 門面」