URL de bază și autentificare
Conectați-vă la API compatibilă openai actualizând configurația clientului pentru a indica https://api.openaicompatibleapiendpoints.com/v1. Ai nevoie de o cheie API validă trimisă în Authorization header ca un token Bearer. Această configurare funcționează cu SDK-urile oficiale OpenAI și cu orice bibliotecă client compatibilă. Nu este necesară o configurare complexă a gateway-ului.
curl https://api.openaicompatibleapiendpoints.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Return 500 status code"}]
}'Fiecare solicitare trebuie să includă cheia dumneavoastră unică. Dacă cheia lipsește sau este invalidă, serverul returnează imediat o eroare 401. Acest lucru asigură că apelurile dumneavoastră ajung la LLM-ul uncensored corect, fără întârzieri de rutare.
Endpoint Completări Chat
Trimite mesaje la POST /v1/chat/completions endpoint pentru a obține răspunsuri text de la uncensored model. Acest endpoint gestionează rândurile standard de conversație și suportă o fereastră de context de până la 100.000 de tokeni. Poți seta un output maxim de 16.000 de tokeni per cerere. Modelul răspunde fără refuzuri de conținut pentru subiecte adulte legale.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaicompatibleapiendpoints.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Folosește standardul messages format array. API-ul ignoră câmpurile extra pe care nu le recunoaște, facilitând migrarea. Plătești doar pentru tokenii consumați efectiv de model.
Răspunsuri în streaming
Activează livrarea de token-uri în timp real setând stream: true în cererea ta. Serverul trimite o serie de Evenimente trimise de server (SSE) până la finalizarea răspunsului. Statisticile de utilizare a tokenilor apar în fragmentul final al fluxului. Acest lucru reduce latența percepută pentru utilizatorii care așteaptă răspunsuri lungi.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Stochează tokenii primiți pe partea de client pentru a reconstrui textul complet. Erorile în timpul streamingului sunt rare, dar trebuie gestionate verificând evenimentul final pentru un cod de eroare. Fluxul se oprește automat când se atinge limita contextului sau numărul maxim de tokeni.
Mod JSON și Unelte
Forțează ieșire structurată setând response_format pentru {"type": "json_object"}. Acest lucru asigură că modelul returnează JSON în loc de text markdown. Poți utiliza, de asemenea, tools parametrul pentru apelarea funcțiilor. API-ul suportă tool_choice pentru control precis asupra funcțiilor pe care modelul le invocă.
Utilizare temperature și top_p pentru a ajusta aleatorietatea. Set seed pentru rezultate reproducibile în timpul depanării. Acești parametri funcționează exact așa cum se așteaptă în integrările standard compatibile cu OpenAI.
Gestionarea erorilor și limitele
Gestionați erorile standard HTTP pentru a gestiona eșecurile de pe partea clientului cu grijă. Un status 401 înseamnă că cheia dvs. API este invalidă. Un status 402 indică faptul că creditul dvs. preplătit este epuizat. O eroare 429 semnalează că ați depășit limita de 300 de solicitări pe minut.
Fiecare cheie permite opt cereri concurente. Corpul cererii este limitat la 8 MB. Rambursările nu sunt emise pentru creditul utilizat, dar erorile în timpul procesării sunt gratuite. Verificați întotdeauna error object în răspunsul JSON pentru detalii.
Fereastră de Context și Detalii ale Modelului
Modelul acceptă o fereastră de context de 100,000 de tokeni, combinând promptul și completarea. Acest lucru permite reținerea profundă a contextului pentru documente lungi sau conversații extinse. Outputul maxim implicit este de 2,048 de tokeni dacă nu specifici max_tokens. Puteți crește această valoare până la 16.000 de tokeni per solicitare.
Modelul nu este GPT, Claude sau niciun alt model de la un alt furnizor. Este un model open-weight, ajustat pentru răspunsuri uncensored. Nu se utilizează date din prompturile tale pentru antrenament. Acest lucru asigură confidențialitatea datelor tale proprietare.
Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.openaicompatibleapiendpoints.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);