RU ▾
Получить API-ключ

Abliterated-модели в OpenRouter против выделенного API

Поиск abliterated-моделей в OpenRouter обычно означает, что вам нужен доступ к моделям без цензуры без самостоятельного хостинга. Агрегатор и выделенный API решают эту задачу по-разному, и правильный выбор зависит от того, насколько разнообразие вам нужно.

Обновлено

Центр, разветвляющийся на множество маленьких кубов рядом с одной прямой дорогой к большому кубу, агрегатор против выделенного API

Ключевые моменты

  • OpenRouter — это агрегатор, который маршрутизирует запросы ко многим моделям от многих провайдеров. Этот сервис запускает одну модель под одним идентификатором.
  • Агрегатор выигрывает за счет разнообразия и резервирования. Выделенный эндпоинт выигрывает за счет предсказуемого, единого поведения.
  • Оба используют формат чата OpenAI, поэтому переключение между ними — это изменение базового URL и ключа.
  • Проверьте текущий список моделей и тарифы OpenRouter самостоятельно, так как они часто меняются.

Два разных формата услуг

OpenRouter — это шлюз в стиле маркетплейса. Вы получаете одну учетную запись и один API, и выбираете среди большого каталога моделей от различных провайдеров. То, что есть в каталоге, какие модели доступны и сколько они стоят, может меняться, поэтому относитесь к любому списку, который вы читаете где-то еще, как к снимку момента, и проверяйте их напрямую.

Этот сервис намеренно узкоспециализированный. Он запускает одну модель с открытыми весами, размещённую независимым провайдером и настроенную на ответы без фильтров контента для законного использования взрослыми. Идентификатор модели всегда uncensored. Это не роутер: он не перенаправляет ваш запрос другому поставщику в зависимости от нагрузки и не является официальным API создателя какой-либо модели.

Ни один из вариантов не лучше в абстрактном смысле. Каталог — хорошее решение, когда вы хотите сравнить десять моделей. Один эндпоинт — хорошее решение, когда вы хотите, чтобы десятый вызов работал так же, как первый.

Сравнение по тому, что вы можете проверить

ВопросАгрегатор, такой как OpenRouterЭто выделенный API
Количество моделейМного, согласно их каталогуОдин, идентификатор uncensored
Какие существуют abliterated или без цензуры моделиПроверьте их текущий список моделейНе применимо, одна модель
Поведение со временемЗависит от выбранной модели и провайдераОдна и та же модель при каждом вызове
ЦеныДля каждой модели, см. текущие цены$0,15 за 1 млн входных токенов, $0,50 за 1 млн выходных токенов
Формат APIChat completions в стиле OpenAIСовместимо с OpenAI: chat completions и модели
Типы выводаЗависит от моделиТолько текст
Контекстное окноЗависит от модели100 000 токенов
Использование данныхПроверьте их политику и политику каждого провайдераПромпты не используются для обучения

Пустые места в средней колонке — не намек на то, что там что-то отсутствует. Они отражают, что я не буду утверждать цены или политики другой компании как факт. Прочитайте их страницы перед принятием решения.

Когда агрегатор подходит лучше

Выберите шлюз, если что-то из следующего описывает ваш проект:

  • Вы все еще выбираете модель и хотите запустить один и тот же промпт через многие из них.
  • Вам нужно несколько типов моделей под одним ключом, например, маленькая быстрая модель для классификации и большая для написания текста.
  • Вам нужно автоматическое переключение на другого провайдера, когда один из них недоступен.
  • Вам нужны функции, которых нет в этом сервисе: ввод изображений, эмбеддинги или дообучение.

Это также разумный путь, если вы хотите попробовать конкретную abliterated-модель по имени. Каталог может перечислять конкретные варианты от сообщества, которые сервис с одной моделью никогда не предложит.

Когда выделенный эндпоинт более оправдан

Сервис с одной моделью подходит для другого набора задач.

  • Согласованность. Промпты, настроенные для одной модели, продолжают работать. Никаких сюрпризов, когда маршрутизируемая модель меняется под стабильным на вид именем.
  • Простое моделирование затрат. Одна ставка ввода и одна ставка вывода. Вы можете оценить месяц в электронной таблице.
  • Поведение при отказе, которое не нужно проверять. Не каждая модель в каталоге ведёт себя одинаково на чувствительном, но законном контенте, и вы можете потратить время на проверку каждой.
  • Малый размер. Одна зависимость с коротким списком параметров: потоковая передача, вызов функций, JSON-режим и стандартные элементы управления сэмплированием.

Пример стоимости. Конвейер, обрабатывающий 5M входных токенов и 1M выходных токенов в день, платит 5 x $0,15 + 1 x $0,50 = $0,75 + $0,50 = $1,25 здесь. Та же арифметика с тарифами другой модели легко выполняется на их странице, что и есть суть фиксированной цены.

Переключение между ними в коде

Поскольку обе стороны используют формат чата OpenAI, вы можете сохранить один путь кода и читать эндпоинт из конфигурации. Это также позволяет вам проводить A/B-тестирование на своих собственных промптах.

import os
from openai import OpenAI

PROVIDERS = {
    "dedicated": {
        "base_url": "https://api.abliteratedmodelhub.com/v1",
        "key": os.environ["DEDICATED_KEY"],
        "model": "uncensored",
    },
    # Add an aggregator entry here with its own base URL, key and model name.
}

def ask(name, prompt):
    cfg = PROVIDERS[name]
    client = OpenAI(base_url=cfg["base_url"], api_key=cfg["key"])
    resp = client.chat.completions.create(
        model=cfg["model"],
        messages=[{"role": "user", "content": prompt}],
        temperature=0.7,
    )
    return resp.choices[0].message.content

print(ask("dedicated", "Write a tense two-line cliffhanger for a noir story."))

Прогоните те же двадцать промптов через каждую запись и сравните частоту отказов, стиль и стоимость за тысячу вызовов. Ваши собственные промпты определяют победителя. Документация охватывает параметры, которые принимает этот эндпоинт.

Справедливый план тестирования для любого провайдера

Самый чистый способ принять решение — провести измерение, используя ваши промпты и ваше определение качества. Честное тестирование займёт около часа.

  1. Соберите 30 промптов. Используйте реальный трафик или реалистичные. Включите 5–10, которые затрагивают чувствительный, но законный контент, из-за которого вы искали модель без цензуры.
  2. Настройте параметры. Та же температура, тот же системный промпт, та же максимальная длина для каждого варианта и фиксированное значение seed там, где это поддерживается.
  3. Запишите базовые показатели. Для каждого ответа регистрируйте, был ли отказ, добавила ли модель лекцию, количество выходных токенов и следовала ли она вашему формату.
  4. Повторите три раза. Запустите каждый промпт не менее трёх раз для каждого кандидата. Модель, которая отказала один раз из трёх, — это не модель, которая никогда не отказывает.
  5. Оцените общую стоимость. Умножьте входные и выходные токены на текущие тарифы каждого провайдера, затем спроецируйте на ваш ежемесячный объём.
  6. Повторите тест позже. Запустите тот же набор снова через месяц, так как каталоги и маршрутизируемые провайдеры меняются.

Пробный баланс в размере $0,50 рассчитан на такую проверку с нашей стороны. По указанным выше тарифам 30 промптов с 1 000 входными и 500 выходными токенами используют 30 000 входных токенов и 15 000 выходных токенов: $0,0045 + $0,0075 = $0,012. Даже три повторения обойдутся примерно в 3,6 цента.

Подводные камни при сравнении

Несколько ловушек делают сравнения вводящими в заблуждение.

  • Одно имя, разные модели. Метка с "uncensored" или "abliterated" говорит о том, что задумывал автор загрузки, а не о том, как модель ведёт себя с вашими промптами. Протестируйте её.
  • Лимиты контекста различаются. Промпт, который помещается в одну настройку, может быть обрезан в другой. Проверяйте контекстное окно, прежде чем сравнивать выходные данные по длинным входным данным.
  • Скрытые системные промпты. Фронтенд может добавлять свои инструкции. Сравнивайте через чистый API, чтобы измерять модель, а не обёртку.
  • Цена за токен — не цена за задачу. Более многословная модель может стоить дороже за ответ даже при более низкой ставке. Сравнивайте стоимость за завершённую задачу.
  • Законное использование — на вашей совести. Какой бы маршрут вы ни выбрали, модель без отказов не меняет то, что является законным. Соблюдайте законное использование взрослыми и помните, что контент сексуального характера с участием несовершеннолетних здесь никогда не разрешён.

Начало работы

Создайте аккаунт и получите свой API-ключ на странице API-ключ. Новые пользователи могут получить $0,50 пробного баланса в один клик, действительного в течение 7 дней, без привязки карты. Регистрация через Google или по электронной почте и паролю. Пробный ключ позволяет 2 параллельных запроса и 60 запросов в минуту; полный ключ — 8 и 300.

После пробного периода пополните любую целую сумму от $20 до $500 криптовалютой (USDT в сети TRC20, USDC в сети Base) с бонусами +5% от $50, +10% от $100 и +15% от $200. Баланс не сгорает. На странице тарифов есть подробности, а страница об AI-модели без ограничений объясняет, что это означает на практике, включая единственное жёсткое ограничение: никакого контента сексуального характера с участием несовершеннолетних.

Вопросы и ответы

Этот сервис такой же, как OpenRouter?

Нет. OpenRouter — это агрегатор множества моделей. Это выделенный API, работающий с одной моделью с открытыми весами под идентификатором uncensored.

Какие abliterated-модели она предлагает?

Одну. Это единая модель с открытыми весами, настроенная на ответы без отказов по контенту для законного использования взрослыми, а не каталог.

Могу ли я использовать тот же код для обеих?

Да. Обе следуют формату чатов OpenAI, поэтому вам нужно изменить базовый URL, ключ и имя модели.

Где я могу увидеть цены OpenRouter?

На их собственном сайте. Цены и доступные модели меняются, поэтому проверяйте их текущие тарифы, а не полагайтесь на сторонние списки.

До вашего ключа — всего одна форма

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ