RU ▾
Получить API-ключ

Abliterated Model Free: локально, демо и пробный баланс

Вы можете получить модель без цензуры бесплатно несколькими способами, но у каждого есть подвох: оборудование, очереди или время. Вот какие есть варианты, сколько они на самом деле стоят и что может сделать пробный период без карты.

Обновлено

Сияющий ключ и токен перед открытыми воротами, представляющие бесплатный пробный доступ к модели без цензуры
Центр, разветвляющийся на множество маленьких кубов рядом с одной прямой дорогой к большому кубу, агрегатор против выделенного API

Ключевые моменты

  • Модели с открытыми весами существуют, но для их запуска нужен GPU или много терпения на CPU.
  • Бесплатные демо общие, ограничены лимитами запросов и меняются без предупреждения, поэтому они подходят для быстрого взгляда, а не для проекта.
  • Пробный кредит в $0,50 здесь — это примерно 1 250 коротких чат-запросов, чего достаточно для реального тестирования API.
  • Бесплатные варианты хороши для оценки; оплата по факту подходит для всего, на что вы полагаетесь.

Что подразумевают под бесплатной моделью без цензуры

Модель без цензуры — это языковая модель с открытыми весами, которую доработали, чтобы убрать склонность отказывать в запросах. Метод определяет направление во внутренних активациях модели, связанное с отказами, и устраняет его. В результате модель отвечает более прямо, хотя качество может отличаться от оригинала, а разные загрузчики получают разные результаты.

Когда люди ищут модель без цензуры бесплатно, они обычно хотят одно из трех: веса для запуска на своей машине, веб-страницу для общения с моделью или API, которое можно вызвать из кода без предварительной оплаты. Это разные задачи с разными ответами. Разделы ниже рассматривают их по очереди.

Вариант 1: загрузить веса и запустить их локально

Загруженные сообществом модели без цензуры публикуются на сайтах хостинга моделей, часто в виде квантованных файлов, которые работают в таких инструментах, как llama.cpp, Ollama или LM Studio. Программное обеспечение бесплатное, как и сам файл. Платить придётся за машину.

  • Память определяет предел. Грубое правило: весам нужно количество параметров умножить на биты на вес, разделенное на восемь. Модель 8B при 4-битном квантовании — это около 4 ГБ, модель 70B при 4-битном квантовании — около 35 ГБ, плюс рабочая память для контекста.
  • Возможно без GPU, но медленно. Маленькие модели работают на CPU с достаточным объемом ОЗУ, со скоростью, подходящей для тестирования, а не для ежедневного чата.
  • Качество варьируется. Прочитайте карточку модели, проверьте лицензию и предпочитайте файлы от загрузчиков, которые объясняют, как они их создали.

Этот путь действительно бесплатный, если у вас уже есть оборудование. Если вам придется его купить, это совсем не бесплатно. Наша страница о лучшей аблитерированной модели для программирования охватывает, на что обращать внимание, когда использование — программирование.

Вариант 2: бесплатные демо и общие пространства

Некоторые загрузчики и сообщества размещают демо-страницы, где вы можете общаться с моделью бесплатно. Они хороши для первого впечатления. Ожидайте этих ограничений:

  • Общие очереди. Под нагрузкой вы ждете, или страница завершается с таймаутом.
  • Нет стабильности. Демо может исчезнуть, сменить модель или добавить ограничения без предупреждения.
  • Нет гарантии API. Даже если демо предоставляет эндпоинт, оно не предназначено для приложения.
  • Неясная обработка данных. Прочитайте, что говорит страница о логировании, прежде чем вставлять что-то частное.

Используйте демо, чтобы решить, подходит ли вам стиль модели. Не используйте его как основу для разработки.

Вариант 3: пробный кредит на API с оплатой за токен

Третий маршрут — хостинговый API с бесплатным пробным периодом. Здесь новые пользователи могут получить $0,50 пробного кредита одним кликом на странице API-ключа после регистрации через Google или с помощью электронной почты и пароля. Карта не нужна, один на человека, действует 7 дней. Пробный ключ позволяет 2 одновременных запроса и 60 запросов в минуту.

API совместим с OpenAI, поэтому любой SDK OpenAI работает после изменения базового URL и ключа. Идентификатор модели — uncensored. Это одна модель с открытыми весами, запущенная независимым провайдером и настроенная на ответы без отказов по контенту для законного использования взрослыми. Только текст, жёсткое ограничение — запрет на сексуальный контент с участием несовершеннолетних.

Что можно получить на $0,50 пробного баланса

Цены: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов. Неудачные или отклонённые запросы не оплачиваются. Вот расчёт для типичного короткого чат-запроса с 1 000 входных токенов и 500 выходных токенов:

  • Вход: 1 000 / 1 000 000 x $0,15 = $0,00015
  • Выход: 500 / 1 000 000 × $0,50 = $0,00025
  • За запрос: $0.0004
  • $0,50 / $0,0004 = 1 250 запросов

Более длинные диалоги требуют больше ресурсов. Разговор, где каждый ход отправляет историю, может в среднем использовать 5 000 входных и 500 выходных токенов: $0,00075 + $0,00025 = $0,001 за запрос, так что пробный кредит покрывает около 500 из них. В любом случае, этого достаточно, чтобы протестировать промпты, тон и вызов инструментов в рамках реального проекта, чего большинство бесплатных демо не могут вам дать.

Справедливый способ его потратить: напишите десять промптов, которые представляют ваше реальное использование, запустите их один раз каждый при низкой температуре и запишите количество токенов в ответе. Затем умножьте на ожидаемый ежемесячный объем. Если десять промптов стоят в сумме $0,004, то тысяча в месяц стоит около $0,40. Это одно вычисление скажет вам, стоит ли рассматривать платный тариф, и вы сделали это, не передавая данные карты. Если вы надеялись, что API будет вести себя как конкретная загрузка из сообщества, протестируйте и это, так как разные аблитерированные модели отвечают по-разному.

Попробуйте за две минуты

После получения ключа это весь тест. Установите базовый URL и модель, и отправьте промпт.

curl https://api.abliteratedmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Explain what a refusal direction is in two sentences."}]}'

Или из Python:

from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three risks of running unvetted model weights."}],
)
print(r.choices[0].message.content)

Заголовок ответа X-Balance-USD показывает, что осталось после каждого вызова, а GET /v1/balance тоже возвращает его. документация перечисляет потоковую передачу, вызов инструментов и JSON-режим.

Проверки перед тем, как доверять бесплатной загрузке или демо

Бесплатно также означает непроверенно. Несколько привычек уберегут вас от проблем.

Для загруженных весов

  • Предпочитайте форматы, которые не могут запускать код при загрузке, такие как safetensors или GGUF, а не pickle-чекпоинты.
  • Прочитайте лицензию. Некоторые лицензии на модели с открытыми весами ограничивают коммерческое использование или требуют указания авторства, и загрузчик не может изменить оригинальную лицензию.
  • Проверьте шаблон чата. Неправильный шаблон — самая частая причина, по которой модель кажется сломанной или болтливой. В карточке модели обычно указан правильный шаблон.
  • Сравните квантования. 4-битный файл меньше и быстрее, но может потерять точность по сравнению с 8-битным. Попробуйте оба варианта и оставьте тот, который лучше работает на ваших промптах.

Для демо и бесплатных тарифов

  • Исходите из того, что промпты могут быть залогированы. Держите имена, ключи и частные документы в стороне.
  • Не привязывайте продукт к странице, которой вы не управляете.
  • Запишите, какие промпты вы пробовали, чтобы вы могли повторить тот же тест на другом варианте и сравнить справедливо.

Аблитерация меняет поведение отказов, но не добавляет знания. Аблитерированная модель всё ещё может выдумывать факты, а меньшее количество отказов означает, что вы берёте на себя больше ответственности за то, что спрашивать и как использовать ответ. Только для законного использования взрослыми, никогда с участием несовершеннолетних.

Бесплатно против оплаты по факту: как выбрать

ПотребностьЛучшее решение
Посмотрите, какой это стильБесплатное демо
Офлайн-использование, полный контроль над весамиЛокальная загрузка, если у вас есть нужное оборудование
Протестируйте приложение через APIПробный кредит
Что-то, от чего вы зависите в повседневной работеОплата по факту, предоплаченный баланс, без подписки

Когда пробный баланс закончится, пополнить его можно любой целой суммой от $20 до $500, с бонусом 5% от $50, 10% от $100 и 15% от $200. Кредит не истекает, оплата криптовалютой. Подробности см. на странице с ценами. Для более широкого обзора моделей без ограничений прочитайте нашу страницу об ИИ-моделях без ограничений.

Используйте их только для законных целей для взрослых и не включайте персональные данные в промпты.

Вопросы и ответы

Есть ли бесплатная аблитерированная модель, которую можно использовать онлайн?

Существуют демо-страницы сообщества, но они общие, ненадёжные и не предназначены для приложений. Пробный баланс на хостинге API даёт более стабильный тест.

Сколько мне дают пробного баланса?

$0,50, по одному на человека, действует 7 дней, карта не нужна. При 1 000 входных и 500 выходных токенах в запросе это около 1 250 запросов.

Могу ли я запустить аблитерированную модель на ноутбуке?

Маленькие квантованные модели могут работать на ноутбуке с достаточным объёмом RAM, но медленно, без мощного GPU. Сначала сравните размер модели с объёмом доступной памяти.

Является ли размещённая модель такой же, как загруженная на Hugging Face?

Нет. Это одна модель с открытыми весами, запущенная независимым провайдером и настроенная на ответы без отказов по контенту. Не предполагайте, что она совпадает с какой-либо конкретной загруженной версией.

Ваш ключ — всего в одном шаге

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ