ベースURLと認証
当社の openai compatible API クライアントの設定を更新して https://api.openaicompatibleapiendpoints.com/v1有効なAPIキーを Authorization Bearer トークンとしてヘッダーを設定します。このセットアップは公式の OpenAI SDK および互換性のあるクライアントライブラリで動作します。複雑なゲートウェイ設定は必要ありません。
curl https://api.openaicompatibleapiendpoints.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Return 500 status code"}]
}'すべてのリクエストには固有のキーを含める必要があります。キーが不足している場合、または無効な場合、サーバーはすぐに401エラーを返します。これにより、ルーティングの遅延なしで、正しいUncensored LLMに呼び出しが届くことが保証されます。
チャット完了エンドポイント
にメッセージを送信 POST /v1/chat/completions からテキスト応答を取得するためのエンドポイント uncensored モデルです。このエンドポイントは標準的な会話のターンを処理し、最大100,000トークンのコンテキストウィンドールをサポートします。1リクエストあたりの最大出力を16,000トークンに設定できます。モデルは法的な成人向けトピックに対してコンテンツ拒否なしで応答します。
from openai import OpenAI
client = OpenAI(base_url="https://api.openaicompatibleapiendpoints.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)標準的な messages 配列形式。APIは認識しない余分なフィールドを無視するため、移行が容易です。モデルが実際に消費したトークンに対してのみ課金されます。
ストリーミングレスポンス
設定することでリアルタイムトークン配信を有効にします stream: true リクエスト内。サーバーは応答が完了するまで一連のServer-Sent Events (SSE) を送信します。トークン使用統計はストリームの最終チャンクに表示されます。これにより、長い回答を待っているユーザーの知覚されるレイテンシが削減されます。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)クライアント側で到着したトークンをバッファリングして完全なテキストを再構築します。ストリーミング中のエラーは稀ですが、最終イベントのエラーコードを確認することで処理できます。コンテキスト制限またはmaxトークンに達すると、ストリームは自動的に停止します。
JSONモードとツール
設定して構造化出力を強制 response_format に {"type": "json_object"}これにより、モデルがマークダウンテキストではなく有効なJSONを返すことが保証されます。また、以下も使用できます。 tools 関数呼び出しのためのパラメータ。APIは tool_choice モデルが呼び出す関数の正確な制御用。
使用 temperature および top_p ランダム性を調整します。設定 seed デバッグ時に再現可能な結果を得るために。これらのパラメータは、標準的なOpenAI互換インテグレーションで期待どおり動作します。
エラー処理と制限
クライアント側の障害を適切に管理するために標準HTTPエラーを処理します。401ステータスはAPIキーが無効であることを意味します。402ステータスはプリペイドクレジットが枯渇したことを示します。429エラーは1分あたり300リクエストの制限を超えたことを示します。
各キーは同時に8つの並列リクエストまで処理可能です。リクエストボディは8 MBに制限されます。使用済みのクレジットに対する返金は行われませんが、処理中のエラーは無料です。常に確認してください error objectはJSONレスポンスに含まれます。詳細は
コンテキストウィンドウとモデルの詳細
このモデルは、プロンプトと補完を合わせて100,000トークンのコンテキストウィンドウをサポートします。これにより、長いドキュメントや拡張された会話に対して深いコンテキスト保持が可能です。max_tokensを指定しない場合、デフォルトの最大出力は2,048トークンです。 max_tokensこの値はリクエストあたり最大 16,000 トークンまで増やすことができます。
このモデルは GPT、Claude、または他のどのベンダーモデルでもありません。オープンウェイトモデルであり、不検閲な応答向けにチューニングされています。プロンプトからのデータはトレーニングに使用されないため、独自のデータプライバシーが確保されます。
Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.openaicompatibleapiendpoints.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);