中文 ▾
获取 API 密钥

Abliterated Model Free:本地部署、演示与试用额度

你可以通过几种方式免费获得免审查模型,但每种方式都有代价:硬件、排队或时间。以下是选项、它们的实际成本以及无卡试用能做什么。

更新于

发光的密钥和 token 在敞开的门前,代表对免审查模型的免费试用访问
一个枢纽连接许多小方块,旁边是一条通往大方块的大道,聚合器与专用 API 对比

要点

  • 存在免费权重,但运行它们需要 GPU,或者在 CPU 上花费大量耐心。
  • 免费演示是共享的、受速率限制且可能随时更改,因此适合快速查看,不适合项目。
  • 这里的 $0.50 试用额度大约相当于 1,250 次简短聊天请求,足以对 API 进行真实测试。
  • 免费选项适合评估;付费按量付费适合任何你依赖的应用。

人们所说的免费消融模型

消融模型是一种经过编辑以去除拒绝请求倾向的开放权重语言模型。该技术识别模型内部激活中与拒绝相关的方向并将其移除。结果回答更直接,但质量可能与原始模型不同,不同上传者得到的结果也不同。

当人们搜索免审查模型免费时,通常想要以下三种之一:可在自己机器上运行的权重、可聊天的网页,或无需先付款即可调用的 API。这些是不同的问题,答案也不同。下面的章节将逐一解答。

选项 1:下载权重并在本地运行

社区上传的免审查模型发布在模型托管网站上,通常以量化文件的形式发布,可在 llama.cpp、Ollama 或 LM Studio 等工具中运行。软件免费,下载也免费。你需要支付的是机器。

  • 内存是限制因素。 作为一个粗略的规则,权重需要参数量乘以每个权重的位数再除以八。4-bit 的 8B 模型约为 4 GB,4-bit 的 70B 模型约为 35 GB,加上上下文的工作内存。
  • 没有 GPU 也可以运行,但速度较慢。 小型模型可以在具有足够 RAM 的 CPU 上运行,速度适合测试而非日常聊天。
  • 质量参差不齐。 阅读模型卡片,检查许可证,并优先选择由解释其制作方式的上传者提供的文件。

如果你已经拥有硬件,这条路完全免费。如果需要购买硬件,那就完全不免费。我们关于最佳编程用消融模型的页面涵盖了在编程用途下需要注意的事项。

选项 2:免费演示和共享空间

一些上传者和社区托管演示页面,你可以免费与模型聊天。它们适合初步印象。预期以下限制:

  • 共享队列。负载高时你需要等待,或者页面超时。
  • 不稳定性。演示可能会消失、更改模型或添加限制,且没有警告。
  • 无 API 保证。即使演示暴露了接口,也不适合应用程序。
  • 数据收集不明确。在粘贴任何私人内容之前,阅读页面关于日志记录的说明。

使用演示来决定模型风格是否适合你。不要基于它构建产品。

选项 3:按 token 付费 API 的试用额度

第三条路线是带有免费试用的托管 API。在此,新用户可以在使用 Google 或电子邮件和密码注册后,在API 密钥页面上点击$0.50 的试用额度。无需信用卡,每人一份,有效期 7 天。试用密钥允许 2 个并发请求和每分钟 60 个请求。

该 API 兼容 OpenAI,因此更改 Base URL 和密钥后,任何 OpenAI SDK 均可使用。模型 ID 为uncensored。这是一个由独立提供商运营的开放权重模型,经过调整,可在合法成人用途下无内容拒绝地回答。仅支持文本,硬性限制是禁止涉及未成年人的性内容。

$0.50 试用额度能做什么

价格为每 1M 输入 token $0.15,每 1M 输出 token $0.50。失败或被拒绝的请求不收费。以下是典型简短聊天请求(1,000 输入 token 和 500 输出 token)的数学计算:

  • 输入:1,000 / 1,000,000 x $0.15 = $0.00015
  • 输出:500 / 1,000,000 x $0.50 = $0.00025
  • 每次请求:$0.0004
  • $0.50 / $0.0004 = 1,250 次请求

更长的交互使用更多。每次轮次都重发历史的对话可能平均使用 5,000 输入和 500 输出 token:$0.00075 + $0.00025 = $0.001 每次请求,因此试用额度大约覆盖 500 次。无论如何,这足以在一个真实项目中测试提示词、语气和函数调用,这是大多数免费演示无法提供的。

合理消耗额度的方法:编写十个代表你实际使用的提示词,以低温度各运行一次,并记录响应中的 token 数量。然后乘以你预期的月用量。如果十个提示词总共花费 $0.004,那么每月一千个大约花费 $0.40。这一项计算能告诉你付费层级是否值得考虑,而且你无需提供卡信息即可完成。如果你希望 API 的行为像特定的社区上传模型,也请测试这一点,因为不同的免审查模型回答方式不同。

两分钟体验

获得密钥后,这就是整个测试。设置 Base URL 和模型,并发送提示词。

curl https://api.abliteratedmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Explain what a refusal direction is in two sentences."}]}'

或者从 Python:

from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three risks of running unvetted model weights."}],
)
print(r.choices[0].message.content)

响应头 X-Balance-USD 显示每次调用后剩余多少,GET /v1/balance 也返回此信息。文档 列出了流式输出、函数调用和 JSON 模式。

在信任免费下载或演示之前的检查

免费也意味着未经审核。一些习惯可以让你避免麻烦。

对于下载的权重

  • 优先选择加载时无法运行代码的格式,如 safetensors 或 GGUF,而不是 pickle 格式的检查点。
  • 阅读许可证。一些开放权重许可证限制商业用途或要求署名,上传者不能覆盖原始许可证。
  • 检查聊天模板。错误的模板是模型看起来损坏或胡言乱语的最常见原因。模型卡片通常会指明正确的模板。
  • 比较量化。4-bit 文件更小更快,但相比 8-bit 可能会损失一些准确性。尝试两个并保留在你的提示词上表现更好的一个。

对于演示和免费层级

  • 假设提示词可能会被记录。避免包含姓名、密钥和私密文档。
  • 不要将产品与你无法控制的页面绑定。
  • 记录你尝试过的提示词,以便在其他选项上重复相同的测试并公平比较。

消融会改变拒绝行为,但不会增加知识。免审查模型仍可能编造事实,较少的拒绝意味着你需要承担更多关于询问什么以及如何回答的判断。仅限合法成人用途,且禁止涉及未成年人。

免费与按量付费:如何选择

需求最佳匹配
查看风格免费演示
离线使用,完全控制权重本地下载,如果你有硬件
对 API 测试应用程序免费试用
你每天依赖的东西按量付费,预付,无订阅

当试用额度用完时,充值金额为 $20 到 $500 之间的任意整数,充值 $50 赠送 5%,充值 $100 赠送 10%,充值 $200 赠送 15%。额度永不过期,支持加密货币支付。详见 定价页面。如需更全面了解无限制模型,请阅读 我们的无限制 AI 模型页面。

仅将任何这些用于合法的成人用途,并在提示词中避免包含个人数据。

问答

是否有免费的消融模型可以在网上使用?

社区演示页面存在,但它们是共享的、不可靠的,不适合用于应用程序。托管 API 上的试用额度能提供更稳定的测试。

试用额度给我多少?

$0.50,每人一次,有效期 7 天,无需信用卡。以每次请求 1,000 个输入 token 和 500 个输出 token 计算,大约可发起 1,250 次请求。

我可以在笔记本电脑上运行消融模型吗?

小型量化模型可以在内存足够的笔记本电脑上运行,但没有高性能 GPU 时会很慢。请先将模型大小与你的内存进行比较。

托管模型与 Hugging Face 上的消融上传相同吗?

不。这是一个由独立提供商运行的开放权重模型,经过调整以在无内容拒绝的情况下回答问题。不要假设它与任何特定上传版本匹配。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥