本地 LLM 測試台

檢查中… OpenAPI 文件

對話 POST /v1/chat(串流)

思考模式(慢很多) 溫度

摘要 POST /v1/summarize

翻譯 POST /v1/translate

分類 POST /v1/classify

可複選

結構化抽取 POST /v1/extract

給一段文字和 JSON Schema,回傳照 schema 填好的 JSON。找不到的欄位是 null。

向量 POST /v1/embed

一行一段文字。回傳每段的向量;若有兩段以上,會順便算出彼此的餘弦相似度。

圖片描述 POST /v1/describe-image

需要支援視覺的模型(qwen3.5 系列都支援)。圖片只在瀏覽器裡轉成 base64 送出,不會存檔。

原始請求 任何端點

狀態 GET /health · GET /v1/models

其他網站怎麼呼叫

同一台 VPS 的容器(在 edge 網路上)直接打 http://llm-api:8080,不用走外網。外部用 https://llm.147.189.172.94.sslip.io

curl -s http://llm-api:8080/v1/chat \
  -H "X-API-Key: $LLM_API_KEY" -H "Content-Type: application/json" \
  -d '{"prompt":"用一句話介紹台北"}'