Base URL és Hitelesítés
Csatlakozás a mi openai kompatibilis API a kliens konfigurációjának frissítésével https://api.openaicompatibleapiendpoints.com/v1Érvényes API-kulcsot kell küldened a Authorization fejléc mint Bearer token. Ez a beállítás működik a hivatalos OpenAI SDK-kkal és bármely kompatibilis ügyfélkönyvtárral. Nem szükségesek komplex átjáró beállítások.
curl https://api.openaicompatibleapiendpoints.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Return 500 status code"}]
}'Minden kérés tartalmaznia kell egyedi kulcsodat. Ha a kulcs hiányzik vagy érvénytelen, a szerver azonnal 401-es hibát ad vissza. Ez biztosítja, hogy a hívásaid a megfelelő uncensored LLM-re érkezzenek irányítási késés nélkül.
Chat Completions végpont
Küldjön üzeneteket a POST /v1/chat/completions endpoint szövegválaszok lekérésére a uncensored modell. Ez az endpoint kezeli a szabványos beszélgetési köröket, és akár 100 000 tokenes kontextusablakot támogat. Beállíthatsz egy maximális kimenetet 16 000 tokenre kérésenként. A modell tartalom-visszautasítás nélkül válaszol jogszerű felnőtt témákban.
from openai import OpenAI
client = OpenAI(base_url="https://api.openaicompatibleapiendpoints.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Használja a szabványos messages tömb formátum. Az API figyelmen kívül hagyja azokat a további mezőket, amelyeket nem ismer fel, így a migráció egyszerű. Csak azokat a tokeneket fizeti, amelyeket a modell ténylegesen felhasznált.
Streamelési válaszok
Valós idejű tokenátadás engedélyezése ezzel stream: true a kérésben. A szerver Server-Sent Events (SSE) eseményeket küld, amíg a válasz be nem fejeződik. A token-használati statisztikák a stream utolsó töredékében jelennek meg. Ez csökkenti az érzékelt késleltetést a hosszú válaszokra váró felhasználók számára.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Pufferelje a bejövő tokeneket az ügyfél oldalon a teljes szöveg rekonstruálásához. A streaming során fellépő hibák ritkák, de kezelhetők az utolsó esemény ellenőrzésével egy hibakód szempontjából. A stream automatikusan leáll, amikor a kontextus limit vagy a max tokenek elérődnek.
JSON mód és eszközök
Strukturált kimenet kényszerítése a response_format a {"type": "json_object"}. Ez biztosítja, hogy a modell érvényes JSON-t adjon vissza a markdown szöveg helyett. Használhatja a tools paraméter a függvényhíváshoz. Az API támogatja tool_choice a pontos vezérléshez, hogy mely függvényeket hívja meg a modell.
Használat temperature és top_p véletlenszerűség beállításához. Állítsa be seed a reprodukálható eredményekhez hibakeresés közben. Ezek a paraméterek pontosan úgy működnek, ahogy elvárható a szabványos OpenAI-kompatibilis integrációknál.
Hibakezelés és korlátok
Kezelje gracefully a szabványos HTTP hibákat az ügyfélfélbeli hibák kezeléséhez. A 401 státusz azt jelenti, hogy az API-kulcs érvénytelen. A 402 státusz azt jelzi, hogy az előre fizetett hitel elfogyott. A 429 hiba azt jelzi, hogy túllépte a percenkénti 300 kérés limitet.
Minden kulcs nyolc párhuzamos kérést engedélyez. A kérelemtörzs mérete 8 MB-ban van lemaxolva. A felhasznált hitelért nem adnak visszatérítést, de a feldolgozás közbeni hibák ingyenesek. Mindig ellenőrizze a error object a JSON válaszban a részletekért.
Kontextusablak és modell részletek
A modell 100 000 tokenes kontextusablakot támogat a prompt és a kiegészítés együttesen. Ez mély kontextusmegőrzést tesz lehetővé hosszú dokumentumok vagy kiterjesztett beszélgetések esetén. Ha nem adja meg, a maximális kimenet alapértelmezés szerint 2 048 token. max_tokens. Ezt az értéket 16 000 tokenre növelheti kérésenként.
A modell nem GPT, Claude vagy bármely más szolgáltató modellje. Egy nyers súlyú modell, amelyet a cenzúratlan válaszokra hangoltak. A promptjaidból származó adatokat nem használjuk fel képzéshez. Ez biztosítja a tulajdonosi adataid védelmét.
Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.openaicompatibleapiendpoints.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);