Rychlý start pro integraci API bez omezení

Základní URL a ověření

Připojit k našemu API kompatibilní s openai aktualizací konfigurace klienta tak, aby ukazoval na https://api.openaicompatibleapiendpoints.com/v1. Potřebujete platný API klíč odeslaný v Authorization hlavička jako Bearer token. Toto nastavení funguje s oficiálními SDK OpenAI a jakoukoli kompatibilní knihovnou klientů. Není vyžadováno složité nastavení brány.

Copycurl https://api.openaicompatibleapiendpoints.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Return 500 status code"}]
  }'

Každý požadavek musí obsahovat váš jedinečný klíč. Pokud klíč chybí nebo je neplatný, server okamžitě vrátí chybu 401. To zajišťuje, že vaše volání dosáhnou správného LLM bez cenzury bez zpoždění při směrování.

Endpoint Chat Completions

Pošlete zprávy na POST /v1/chat/completions endpoint pro získání textových odpovědí z uncensored model. Tento endpoint zvládá standardní konverzační obraty a podporuje kontextové okno o velikosti 100 000 tokenů. Můžete nastavit maximální výstup na 16 000 tokenů na požadavek. Model odpovídá bez odmítnutí obsahu pro zákonné témata pro dospělé.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaicompatibleapiendpoints.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Použijte standardní messages formát pole. API ignoruje další pole, kterým nerozumí, což usnadňuje migraci. Platíte pouze za tokeny, které model skutečně spotřeboval.

Streamované odpovědi

Povolit doručování tokenů v reálném čase nastavením stream: true ve vaší žádosti. Server odesílá řadu Server-Sent Events (SSE), dokud odpověď neskončí. Statistiky využití tokenů se objevují v posledním chunku streamu. To snižuje vnímanou latenci pro uživatele čekající na dlouhé odpovědi.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Načtěte příchozí tokeny na straně klienta pro rekonstrukci plného textu. Chyby během streamování jsou vzácné, ale měly by být zpracovány kontrolou poslední události na chybový kód. Stream se automaticky zastaví, když je dosaženo limitu kontextu nebo max tokenů.

Režim JSON a nástroje

Vynucení strukturovaného výstupu nastavením response_format na {"type": "json_object"}. To zajišťuje, že model vrací platný JSON místo textu v Markdown. Můžete také použít tools parameter pro volání funkcí. API podporuje tool_choice pro přesnou kontrolu nad tím, které funkce model vyvolá.

Použít temperature a top_p k úpravě náhodnosti. Nastavte seed pro reprodukovatelné výsledky při ladění. Tyto parametry fungují přesně podle očekávání v standardních integracích kompatibilních s OpenAI.

Zpracování chyb a limity

Zpracujte standardní chyby HTTP elegantně pro správu selhání na straně klienta. Stav 401 znamená, že váš klíč API je neplatný. Stav 402 indikuje, že je vyčerpán váš předplacený kredit. Chyba 429 signalizuje, že jste překročili limit 300 požadavků za minutu.

Každý klíč umožňuje osm souběžných požadavků. Tělo požadavku je omezeno na 8 MB. Refundace za použitý kredit nejsou vydávány, ale chyby během zpracování jsou zdarma. Vždy zkontrolujte error object v odpovědi JSON pro podrobnosti.

Okno kontextu a detaily modelu

Model podporuje kontextové okno o velikosti 100 000 tokenů pro prompt i completion dohromady. To umožňuje hluboké uchování kontextu pro dlouhé dokumenty nebo prodloužené konverzace. Výchozí maximální výstup je 2 048 tokenů, pokud nezadáte max_tokens. Toto můžete zvýšit až na 16 000 tokenů na požadavek.

Model není GPT, Claude ani model jiného dodavatele. Je to model s otevřenými váhami doladěný pro odpovědi bez cenzury. Data z vašich promptů nejsou používána pro trénování. To zajišťuje soukromí vašich proprietárních dat.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaicompatibleapiendpoints.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);