Tích hợp Open Source LLM API trong vài phút

URL cơ bản và Xác thực

Kết nối với api llm mã nguồn mở bằng cách trỏ khách hàng của bạn đến URL cơ sở của chúng tôi: https://api.opensourcellmapi.com/v1. Xác thực được xử lý thông qua khóa API tiêu chuẩn được truyền trong tiêu đề Authorization. Bạn nhận được khóa này ngay lập tức sau khi đăng ký trên trang Lấy khóa API chỉ với email và mật khẩu. Không cần số điện thoại hay thẻ tín dụng để bắt đầu. Nếu bạn cần xoay đổi thông tin xác thực, bạn có thể tạo lại khóa của mình bất cứ lúc nào, điều này sẽ thu hồi ngay lập tức khóa trước đó. Điều này đảm bảo bạn duy trì quyền kiểm soát quyền truy cập mà không cần dựa vào giao diện bảng điều khiển phức tạp.

Gửi yêu cầu đầu tiên của bạn

Thực hiện yêu cầu POST tiêu chuẩn đến /v1/chat/completions. Endpoint mong đợi một thân JSON với trường model được đặt thành uncensored và mảng messages. Endpoint này hỗ trợ định dạng trò chuyện tiêu chuẩn, cho phép bạn chuyển đổi từ OpenAI hoặc các nhà cung cấp khác với ít thay đổi mã nhất. Dưới đây là một ví dụ cURL cơ bản để xác minh kết nối và nhận phản hồi văn bản.

Copycurl https://api.opensourcellmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Tích hợp SDK Python

Sử dụng thư viện Python chính thức của OpenAI giúp đơn giản hóa việc tích hợp. Cài đặt gói thông qua pip, sau đó khởi tạo khách hàng với khóa API và URL cơ sở của chúng tôi. Đặt mô hình thành uncensored và gọi phương thức hoàn thành trò chuyện. Cách tiếp cận này cho phép bạn tận dụng các ứng dụng LLM Python hiện có với không cần sửa đổi logic suy luận. Thư viện tự động xử lý quá trình tuần tự hóa và phân tích lỗi.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.opensourcellmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Tích hợp SDK Node.js

Đối với các dự án JavaScript hoặc TypeScript, hãy sử dụng SDK Node.js của OpenAI. Cài đặt gói và định cấu hình khách hàng với cùng URL cơ sở và khóa API. ID mô hình uncensored đảm bảo bạn đang truy cập vào endpoint suy luận không kiểm duyệt của chúng tôi. Điều này cho phép bạn tích hợp các khả năng LLM không giới hạn trực tiếp vào các ứng dụng web hoặc phía máy chủ của mình trong khi vẫn duy trì khả năng tương thích với mã khách hàng OpenAI tiêu chuẩn.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.opensourcellmapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Bật truyền phát (SSE)

Để giảm độ trễ và trải nghiệm người dùng theo thời gian thực, hãy bật truyền phát bằng cách đặt stream: true. API trả về các sự kiện do máy chủ gửi (SSE), cho phép bạn xử lý các token khi chúng được tạo. Điều này rất lý tưởng cho các giao diện trò chuyện nơi chỉ báo đang đánh máy cải thiện hiệu suất cảm nhận. Cấu trúc phản hồi vẫn nhất quán với các định dạng truyền phát OpenAI tiêu chuẩn, đảm bảo các bộ xử lý sự kiện của bạn hoạt động mà không cần logic phân tích tùy chỉnh.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Giới hạn, Lỗi và Cửa sổ ngữ cảnh

Khóa API của bạn được giới hạn ở 300 yêu cầu mỗi phút và thân yêu cầu 8 MB. Cửa sổ ngữ cảnh hỗ trợ tối đa 100.000 token cho prompt và phần hoàn thành kết hợp. Nếu bạn nhận được mã 401, khóa của bạn không hợp lệ hoặc đã hết hạn. Mã 402 cho biết tín dụng trả trước không đủ; bạn có thể nạp tiền từ $10 thông qua tiền điện tử (USDT hoặc USDC). Mã 429 có nghĩa là bạn đã vượt quá giới hạn tốc độ. Tất cả tín dụng đều là tín dụng trả trước và không bao giờ hết hạn, với các khoản thưởng có sẵn cho các khoản nạp tiền lớn hơn.