Base URL og autentificering
Forbind til vores openai kompatibel API ved at opdatere din klientkonfiguration til at pege på https://api.openaicompatibleapiendpoints.com/v1. Du skal have en gyldig API-nøgle sendt i Authorization header som en Bearer-token. Denne opsætning fungerer med de officielle OpenAI SDK'er og ethvert kompatibelt klientbibliotek. Der kræves ikke kompleks gateway-konfiguration.
curl https://api.openaicompatibleapiendpoints.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Return 500 status code"}]
}'Hvert request skal indeholde din unikke nøgle. Hvis nøglen mangler eller er ugyldig, returnerer serveren en 401-fejl med det samme. Dette sikrer, at dine kald når den korrekte uncensored LLM uden routing-forsinkelser.
Chat Completions Endpoint
Send beskeder til POST /v1/chat/completions endpoint til at få tekstsv fra uncensored model. Dette endepunkt håndterer standard samtaleomgange og understøtter et kontekstvindue på op til 100.000 tokens. Du kan indstille et maksimum output på 16.000 tokens pr. anmodning. Modellen svarer uden indholdsafslag for lovligt voksent indhold.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaicompatibleapiendpoints.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Brug den standard messages array-format. API'et ignorerer ekstra felter, det ikke genkender, hvilket gør migration nem. Du betaler kun for tokens, som modellen faktisk forbruger.
Streaming-svar
Aktiver real-time tokenlevering ved at indstille stream: true i din anmodning. Serveren sender en række Server-Sent Events (SSE), indtil svaret er fuldført. Tokenforbrugsstatistikker vises i den sidste chunk af streamet. Dette reducerer den opfattede forsinkelse for brugere, der venter på lange svar.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Buffer de indkommende tokens på klientsiden for at rekonstruere den fulde tekst. Fejl under streaming er sjældne, men bør håndteres ved at tjekke den sidste hændelse for en fejlkode. Strømmen stopper automatisk, når kontekstgrænsen eller max tokens er nået.
JSON-tilstand og værktøjer
Tving struktureret output ved at indstille response_format til {"type": "json_object"}. Dette sikrer, at modellen returnerer gyldig JSON i stedet for markdown-tekst. Du kan også bruge tools parameter til funktionssamtale. API'en understøtter tool_choice for præcis kontrol over, hvilke funktioner modellen kalder.
Brug temperature og top_p til at justere tilfældighed. Indstil seed for reproducerbare resultater under fejlfinding. Disse parametre fungerer præcis som forventet i standard OpenAI-kompatible integrationer.
Fejlhåndtering og begrænsninger
Håndter standard HTTP-fejl for at administrere klient-side-fejl pænt. En 401-status betyder, at din API-nøgle er ugyldig. En 402-status indikerer, at din forudbetalte kredit er opbrugt. En 429-fejl signalerer, at du har overskredet grænsen på 300 anmodninger i minuttet.
Hver nøgle giver otte samtidige requests. Request bodyen er begrænset til 8 MB. Refunderinger udstedes ikke for brugt kredit, men fejl under behandling er gratis. Tjek altid error object i JSON-svaret for detaljer.
Kontekstvindue og Model detaljer
Modellen understøtter et kontekstvindue på 100.000 tokens for både prompt og completion tilsammen. Dette muliggør dyb kontekstbevaring for lange dokumenter eller udvidede samtaler. Standardmaksimum for output er 2.048 tokens, hvis du ikke angiver max_tokens. Du kan øge dette op til 16.000 tokens pr. anmodning.
Modellen er ikke GPT, Claude eller en anden udbyders model. Det er en open-weight-model finjusteret til ucensurerede svar. Data fra dine prompts bruges ikke til træning. Dette sikrer privatliv for din proprietære data.
Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.openaicompatibleapiendpoints.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);