基礎 URL 與驗證
連線至我們的 openai compatible API 透過更新您的客戶端設定以指向 https://api.openaicompatibleapiendpoints.com/v1. 您需要一個透過 Authorization 作為 Bearer token 標頭。此設置適用於官方 OpenAI SDK 和任何相容的客戶端庫。無需複雜的網關配置。
curl https://api.openaicompatibleapiendpoints.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Return 500 status code"}]
}'每次請求必須包含您的唯一密鑰。如果密鑰缺失或無效,服務器會立即返回 401 錯誤。這確保您的調用能直接到達正確的無審查 LLM,無需路由延遲。
聊天完成端點
發送訊息至 POST /v1/chat/completions 用於從該端點取得文字回應。 uncensored model。此端點處理標準的對話輪次,並支援高達 100,000 token 的上下文視窗。您可以設定每次請求的最大輸出為 16,000 token。模型不會對合法的成人主題進行內容拒絕。
from openai import OpenAI
client = OpenAI(base_url="https://api.openaicompatibleapiendpoints.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)使用標準的 messages 陣列格式。API 會忽略它無法識別的額外欄位,使遷移變得容易。您只需為模型實際消耗的 token 付費。
串流回應
透過設定 stream: true 在你的請求中。伺服器發送一系列伺服器發送的事件(SSE),直到回應完成。Token 用量統計資料出現在串流的最後一個區塊中。這能降低使用者等待長答案時的感知延遲。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)在客戶端緩衝收到的 token 以重建完整文字。串流期間的錯誤雖罕見,但應透過檢查最終事件的錯誤碼來處理。當達到上下文限制或最大 token 數時,串流會自動停止。
JSON 模式與工具
透過設定 response_format 以 {"type": "json_object"}. 這可確保模型返回 JSON 而非 markdown 文字。您也可以使用 tools 參數用於函數呼叫。API 支援 tool_choice 用於精確控制模型調用的函數。
使用 temperature 和 top_p 調整隨機性。設置 seed 用於除錯期間獲得可重現的結果。這些參數的作用方式與標準 OpenAI 相容整合中的預期完全一致。
錯誤處理與限制
優雅地處理標準 HTTP 錯誤以處理客戶端故障。401 狀態表示您的 API 金鑰無效。402 狀態表示您的預付信用額度已耗盡。429 錯誤表示您已超過每分鐘 300 次請求的限制。
每個金鑰允許八個併發請求。請求主體上限為 8 MB。已使用的信用額度不予退款,但處理過程中的錯誤是免費的。請務必檢查 error JSON 回應中的物件以獲取詳細資訊。
上下文視窗和模型詳情
該模型支援提示詞與補全合計 100,000 token 的上下文視窗。這使得針對長文件或長時間對話的深度上下文保留成為可能。若您未指定,預設最大輸出量為 2,048 個 token max_tokens. 您可以將此值增加至每次請求 16,000 個 token。
該模型不是 GPT、Claude 或任何其他廠商模型。它是一個針對無審查回應進行調優的開權重模型。您的提示詞數據不會用於訓練。這確保了您专有數據的隱私。
Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.openaicompatibleapiendpoints.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);