繁中 ▾
取得 API 金鑰

Hugging Face 上的 Abliterated 模型與託管存取

在 Huggingface 搜尋 "abliterated models" 會返回數百個社群上傳。選擇一個並執行它是可行的,但這與呼叫託管端點是不同的工作。本頁面向開發者比較這兩者。

更新於

許多模型權重包旁邊有一台連接到筆記型電腦的單一雲端伺服器,比較下載的權重與託管存取
一個指向多個小方塊的集線器與一條通往大方塊的直線路徑,聚合器與專用 API 的對比

重點摘要

  • Hugging Face 是權重所在之處:許多上傳、品質參差、授權多樣。
  • 自行運行它們需要硬體、設定時間以及對量化和聊天模板的關注。
  • 託管 OpenAI 相容端點可跳過這些,在此處為每 1M 輸入 token $0.15、每 1M 輸出 token $0.50。
  • 使用權重進行控制和離線工作;使用 API 進行快速整合。

搜尋 abliterated models huggingface 會顯示熱門開放權重模型的上傳,這些模型的拒絕行為已被編輯掉,具有多種大小和格式。有些是全精度權重,有些是供 llama.cpp 基礎工具使用的量化 GGUF 檔案,有些是進一步合併或微調的變體。名稱通常帶有「abliterated」或「uncensored」等後綴,且同一個基礎模型可能有來自不同人的十幾個版本。

這種多樣性是生態系的優點也是缺點。你可以選擇適合你硬體的大小。但沒有人保證上傳的模型能如描述般運作,而且「abliterated」這個詞並不會告訴你編輯做得多好或失去了多少能力。將每個模型視為候選者來測試。

如何閱讀模型卡

模型說明頁是進入程式庫時會看到的頁面。在下載數 GB 之前,請先閱讀這些項目。

  1. 基礎模型。 它是基於哪個原始模型以及哪個版本?你將繼承其優點、上下文長度與授權。
  2. 方法。 作者是否解釋了如何進行 abliteration 以及評估了什麼?沉默是一個警訊。
  3. 授權。 檢查商業使用條款。上傳者無法授予基礎授權未授予的權利。
  4. 檔案格式。Safetensors 與 GGUF 比 pickle 檢查點更安全。
  5. 聊天模板。 模型卡或 tokenizer 設定應顯示提示詞格式。錯誤的模板會導致奇怪、冗長的輸出。
  6. 社群標籤。 查看討論區是否有檔案損壞或輸出品質下降的報告。
  7. 大小與量化。 檔案列表會告訴你哪些適合你的記憶體。

自行運行權重需要什麼

由三個因素決定:記憶體、設定時間與維護成本。

  • 記憶體。權重約佔用的空間為參數數量乘以每個權重的位元數再除以八。8B 模型在 4-bit 下約需 4 GB,70B 模型在 4-bit 下約需 35 GB。長上下文視窗的 KV 快取會額外增加用量。
  • 設定。 選擇引擎、下載檔案、設定上下文大小、模板以及卸載到 GPU 的層數,然後測試。
  • 維護。 新模型不斷出現。重新測試和重新下載是常規工作的一部分。

下載 GGUF 檔案後,使用 llama.cpp 的最小本地伺服器如下所示:

llama-server -m ./model-Q4_K_M.gguf -c 8192 --port 8080

它在你的機器上提供 OpenAI 風格的 API。這很適合用於實驗。但許多一般用戶的硬體配置為了節省記憶體,僅使用 8,192 token 的上下文,這遠小於本站託管 API 提供的 100,000 token。

託管存取比較

託管端點跳過了下載、GPU 和模板。它是 OpenAI 相容 API:更改 Base URL 和金鑰後,任何 OpenAI SDK 均可使用。

  • Base URL:https://api.abliteratedmodelhub.com/v1
  • 模型 ID:uncensored
  • 驗證:Authorization: Bearer YOUR_KEY
  • 端點:POST /v1/chat/completions、POST /v1/responses 和 GET /v1/models
from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a GGUF file is in two sentences."}],
)
print(resp.choices[0].message.content)

請清楚了解這是什麼。這是一個由獨立供應商運行、針對合法成人用途無內容拒絕進行調整的開放權重模型。它不是特定的 Hugging Face 上傳,你無法選擇或交換權重。它僅限文字:無影像、音訊、嵌入或微調。

並排比較

Hugging Face 權重,自行運行託管 API
模型選擇數百種變體單一模型,ID 為 uncensored
硬體由你提供無
成本硬體和電力每 1M 輸入 $0.15,每 1M 輸出 $0.50
上下文受你的記憶體限制100,000 token
功能取決於你的引擎和模型串流輸出、函式呼叫、JSON 模式
並行請求通常在桌上型電腦上一次一個請求完整金鑰的 8 個並行請求
離線是否
權重控制完整無
設定時間數小時至數天分鐘

自行託管並非較差的選項。如果你需要檢查、合併或微調權重,或在無網路的情況下運行,它是唯一選項。託管 API 是當你想將模型整合到應用程式中時的正確工具。

您可能會遇到的問題

模型胡言亂語或重複

通常是聊天模板錯誤,或缺少停止 token。使用模型卡上命名的模板,如果引擎未從檔案讀取,請設定停止序列。

輸出品質不如基礎模型

Abliteration 會編輯權重,重度編輯可能會影響一些推理品質。在上面再量化為 4-bit 可能會增加更多損失。在歸咎於方法之前,請先嘗試該模型的高精度檔案。

記憶體不足

降低上下文大小、選擇較小的量化,或將較少的層卸載至 GPU。KV cache 隨上下文增長,因此載入正常的模型可能在長提示詞下失敗。

它有時仍會拒絕

Abliteration 會減少拒絕回應;但它不保證完全零拒絕。聲明任務的合法上下文的系統提示通常會有幫助。託管模型或本地模型皆是如此。

函式呼叫無法運作

並非所有上傳的模型都針對此功能進行訓練,也不是每個引擎都會為每個模板實作此功能。在設計依賴此功能的代理程式之前,請先測試簡單的函式呼叫。託管 API 支援 tools、tool_choice、串流輸出的 tool_calls 以及 JSON 模式,因此可以快速檢查您自己的提示詞與結構描述符的行為。

合理的工作流程

許多開發者兩者都用。先從 Hugging Face 嘗試幾個上傳,看看你喜歡哪種輸出風格。記錄對你重要的提示詞。然後使用試用額度對 API 測試相同的提示詞:$0.50,在註冊後的 API 金鑰頁面 上一鍵領取,無需信用卡,有效期 7 天。如果託管模型足以滿足應用程式需求,你就可以避免整個硬體問題。如果不行,你就會有一份在權重中該尋找什麼的清單。

最佳 abliterated 程式碼模型頁面涵蓋了程式碼專屬的評估標準,而OpenRouter 上的 abliterated 模型頁面則介紹了另一種取得託管存取的方式。完整的參數與限制請見文件。

僅需要端點的開發者成本

假設一個應用程式每月發送 20M 個輸入 token 和 4M 個輸出 token。帳單為 20 x $0.15 = $3.00 加上 4 x $0.50 = $2.00,因此 $5.00。以這種消耗量來說,購買 GPU 並不划算。另一方面,如果需要特定的上傳模型,或者需要全天候持續發送流量數月,則可能值得擁有自己的機器。請見 定價 以了解儲值金額從 $20 到 $500 不等,以及較大金額的贈送額度。額度永不過期,失敗或遭拒的請求不會收費。

發送到託管 API 的提示詞不會用於訓練。僅限合法成人用途使用這些選項,且禁止涉及未成年人的性內容。

問答

我在 Hugging Face 哪裡可以找到 Abliterated 模型?

在模型庫中搜尋包含 "abliterated" 以及基礎模型名稱的結果,然後閱讀每個模型的說明文件。在下載之前,請檢查授權、格式與聊天模板。

Hugging Face 上的 Abliterated 模型下載安全嗎?

偏好使用由上傳者記錄其方法的 safetensors 或 GGUF 檔案,並閱讀社群討論。避免使用來自未知來源的 pickle 序列化檢查點。

我可以透過此 API 使用 Hugging Face 的 Abliterated 模型嗎?

不行。API 提供一個固定的開放權重模型,ID 為 uncensored。你無法上傳或選擇權重。

託管方案的費用比我自己運行模型更便宜嗎?

在低或中等流量下,通常是的,因為不需要購買硬體。在持續的高負載下,自行運行可能會更便宜。

你的金鑰只差填一張表單即可取得

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰