中文 ▾
获取 API 密钥

Hugging Face 上的消融模型与托管访问

在 Hugging Face 上搜索去抑制模型会返回数百个社区上传。选择一个并运行它是可行的,但这与调用托管接口是不同的工作。本页面向开发者比较这两种方式。

更新于

许多小模型立方体旁边是一个连接到笔记本电脑的单个云服务器,比较下载的权重与托管访问
一个枢纽连接许多小方块,旁边是一条通往大方块的大道,聚合器与专用 API 对比

要点

  • Hugging Face 是权重的存放地:上传众多,质量参差不齐,许可证各异。
  • 自己运行它们需要硬件、设置时间和对量化及聊天模板的关注。
  • 托管的 OpenAI 兼容接口省去了所有这些步骤,价格为每 100 万 token $0.15 和 $0.50。
  • 使用权重进行控制和离线工作;使用 API 进行快速集成。

搜索 去抑制模型 Hugging Face 会找到许多流行开放权重模型的上传,这些模型已去除拒绝行为,具有多种尺寸和格式。有些是全精度权重,有些是为 llama.cpp 等工具准备的量化 GGUF 文件,有些是进一步合并或微调的变体。名称通常带有 "abliterated" 或 "uncensored" 等后缀,同一个基础模型可能有来自不同人的十几个版本。

这种多样性既是生态系统的优点也是缺点。你可以选择适合你硬件的大小。但没人保证上传的文件能如描述那样工作,且“abliterated”一词并不能告诉你编辑的效果如何或损失了多少能力。将每个模型视为待测试的候选项。

如何阅读模型卡片

模型卡片是你访问仓库时到达的页面。在下载吉字节数据之前,请阅读以下项目。

  1. 基础模型。 它源自哪个原始模型,以及哪个版本?你继承了它的特性、上下文长度和许可协议。
  2. 方法。 作者是否解释了去抑制是如何完成的,以及评估了什么?沉默是一个警告信号。
  3. 许可证。 检查商业使用条款。上传者不能授予基础许可证未授予的权利。
  4. 文件格式。 与 pickle 检查点相比,Safetensors 和 GGUF 是更安全的选择。
  5. 聊天模板。 卡片或分词器配置应显示提示词格式。错误的模板会导致奇怪、冗长的输出。
  6. 社区标签页。 查看讨论区,寻找关于文件损坏或输出退化的报告。
  7. 大小和量化。 文件列表告诉你哪些适合你的内存。

自己运行权重需要什么

三个因素决定它:内存、设置时间和维护。

  • 内存。 权重占用大约参数量乘以每权重位数除以八。4-bit 的 8B 模型大约 4 GB,4-bit 的 70B 模型大约 35 GB。长上下文的 KV 缓存会更多。
  • 设置。 选择引擎,下载文件,设置上下文大小、模板和卸载到 GPU 的层数,然后测试。
  • 维护。 新模型不断出现。重新测试和重新下载是常规工作的一部分。

下载 GGUF 文件后,使用 llama.cpp 的最小本地服务器如下所示:

llama-server -m ./model-Q4_K_M.gguf -c 8192 --port 8080

它在你的机器上提供 OpenAI 风格的 API。这对于实验来说效果很好。但是,许多消费级配置为了节省内存而使用的 8,192 个 token 上下文,远小于本站托管 API 提供的 100,000 个 token。

托管访问对比

托管接口省去了下载、GPU 和模板。它是一个 OpenAI 兼容 API:更改 base URL 和密钥后,任何 OpenAI SDK 均可使用。

  • Base URL: https://api.abliteratedmodelhub.com/v1
  • 模型 ID:uncensored
  • 认证: Authorization: Bearer YOUR_KEY
  • 接口: POST /v1/chat/completions, POST /v1/responses 和 GET /v1/models
from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a GGUF file is in two sentences."}],
)
print(resp.choices[0].message.content)

要明确这是什么。它是一个由独立提供商运行、针对合法成人用途无内容拒绝进行调优的开放权重模型。它不是特定的 Hugging Face 上传,你无法选择或交换权重。它仅支持文本:不支持图像、音频、嵌入或微调。

对比

Hugging Face 权重,自运行托管 API
模型选择数百种变体一个模型,ID 为 uncensored
硬件由你提供无
成本硬件和电力每 1M 输入 token $0.15,每 1M 输出 token $0.50
上下文受你的内存限制100,000 个 token
功能取决于你的引擎和模型流式输出、函数调用、JSON 模式
并发通常一次只处理一个请求完整密钥下 8 个并发请求
离线是否
对权重的控制完全无
设置时间数小时至数天分钟

自托管不是较差的选项。如果你需要检查、合并或微调权重,或在无网络环境下运行,它是唯一的选择。托管 API 是当你希望今天将模型集成到应用程序中时的合适工具。

你可能会遇到的问题

模型胡言乱语或重复

通常是聊天模板错误,或者缺少停止 token。使用卡片上命名的模板,如果引擎未从文件中读取,请设置停止序列。

输出比基础模型差

消融编辑了权重,重度编辑可能会损失一些推理能力。在此基础上量化到 4-bit 会增加更多损失。在归咎于方法之前,尝试使用相同模型的更高精度文件。

内存不足

降低上下文大小,选择更小的量化,或卸载更少的层到 GPU。KV 缓存随上下文增长,因此加载正常的模型在长提示词下可能会失败。

它有时仍然拒绝

消融减少了拒绝;它不能保证为零。声明任务合法上下文的系统提示通常会有所帮助。托管或本地模型都是如此。

工具调用不起作用

并非所有上传模型都针对此进行了训练,也并非所有引擎都会为每个模板实现此功能。在设计围绕其构建的代理之前,请先测试一个简单的函数调用。托管 API 支持 tools、tool_choice、流式输出的 tool_calls 以及 JSON 模式,因此这是检查你自己的提示词和 schema 行为方式的快速途径。

合理的工作流程

许多开发者同时使用两者。建议先从 Hugging Face 尝试几个上传模型,看看你喜欢的输出风格。记录对你重要的提示词。然后使用试用额度对 API 测试相同的提示词:$0.50,注册后在 API 密钥页面一键领取,无需信用卡,有效期 7 天。如果托管模型足以满足应用需求,你便无需考虑硬件问题。如果不够,你至少有一份在权重中寻找目标的清单。

最佳去抑制编程模型 页面涵盖了代码特定的标准,而 OpenRouter 上的去抑制模型 页面展示了另一种获取托管访问的方式。完整参数和限制在 文档 中。

仅需要一个端点的开发者的成本

假设一个应用每月发送 20M 输入 token 和 4M 输出 token。账单为 20 x $0.15 = $3.00 加上 4 x $0.50 = $2.00,即 $5.00。这样的支出不值得购买 GPU。另一方面,如果需要特定的上传模型,或者全天候发送流量数月,则可能值得拥有自己的机器。参见 定价 了解从 $20 到 $500 的充值金额以及较大充值时的奖励。额度永不过期,失败或被拒绝的请求不收费。

发送至托管 API 的提示词不用于训练。仅限合法成人用途使用以下任一选项,且不得用于涉及未成年人的性内容。

问答

我在 Hugging Face 哪里能找到消融模型?

在模型库中搜索包含“abliterated”一词及基础模型名称的结果,然后阅读每个模型卡片。在下载前检查许可证、格式和聊天模板。

Hugging Face 上的消融模型下载安全吗?

优先选择由记录其方法的上传者提供的 safetensors 或 GGUF 文件,并阅读社区讨论。避免从未知来源下载 pickle 序列化检查点。

我可以通过此 API 使用 Hugging Face 的消融模型吗?

不可以。API 提供 ID 为 uncensored 的单一固定开放权重模型。你无法上传或选择权重。

托管方式比我自己运行模型更便宜吗?

在低或中等流量下,通常更便宜,因为无需购买硬件。在持续高负载下,自行运行可能更划算。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥