JA ▾
API キーを取得

Hugging FaceのAbliteratedモデルとホスティングアクセス

「abliterated models huggingface」の検索結果には数百のコミュニティアップロードが表示されます。1つを選んで実行することは可能ですが、ホストエンドポイントにアクセスするのとは異なる作業です。このページでは開発者の観点から両者を比較します。

更新日:

ラップトップにリンクされた単一のクラウドサーバーのそばに並ぶ複数の小さなモデルキューブ。ダウンロードされた重みとホスト型アクセスを比較
複数の小さな立方体に広がるハブと、大きな立方体への一本の直線、集約元対専用API

主要ポイント

  • Hugging Faceは重みが存在する場所です:多くのアップロード、品質のばらつき、多様なライセンス。
  • 自分で実行するには、ハードウェア、セットアップ時間、量子化とチャットテンプレートへの注意が必要です。
  • ホスト型OpenAI互換エンドポイントはそれらの手間をすべて省き、1Mトークンあたり入力$0.15、出力$0.50です。
  • 制御とオフライン作業には重みを使用し、高速な統合にはAPIを使用してください。

abliterated models huggingfaceを検索すると、拒否行動が編集された人気のあるオープンウェイトモデルのアップロードが、さまざまなサイズとフォーマットで表示されます。一部は完全精度の重み、一部はllama.cppベースのツール用の量子化されたGGUFファイル、一部はさらにマージまたはファインチューニングされたバリエーションです。名前には「abliterated」や「uncensored」などの接尾辞が含まれることが多く、同じベースモデルに異なる人による数十のバージョンが存在します。

この多様性はエコシステムの善と悪です。ハードウェアに合うサイズを選べます。しかし、アップロードが説明どおりに動作することを保証する人はおらず、「abliterated」という用語は編集の質や能力の損失度を示しません。各モデルはテスト対象として扱ってください。

モデルカードの読み方

モデルカードはリポジトリにアクセスした際に表示されるページです。ギガバイトのダウンロード前にこれらの項目をお読みください。

  1. ベースモデル。 どのオリジナルモデルから作成されたか、またどのバージョンか?その強み、コンテキストウィンドウ、ライセンスを継承します。
  2. 方法。 著者はabliterationの方法と評価内容について説明していますか?沈黙は警告サインです。
  3. ライセンス。 商用利用の条件を確認してください。アップローダーはベースライセンスが許容しない権利を付与できません。
  4. ファイルフォーマット。 SafetensorsとGGUFはpickledチェックポイントより安全な選択肢です。
  5. チャットテンプレート。 カードまたはトークナイザー設定にプロンプトフォーマットが表示されているはずです。間違ったテンプレートは奇妙でまとまりのない出力を引き起こします。
  6. コミュニティタブ。 壊れたファイルや劣化した出力に関する報告のためのディスカッションを確認してください。
  7. サイズと量子化。 ファイルのリストは、あなたのメモリに合うものを示しています。

自分で重みを読み込んで推論を行うために必要なもの

それを決めるのは3つのリソースです:メモリ、セットアップ時間、保守。

  • メモリ。 ウェイトはパラメータ数×ウェイトあたりのビット数÷8で計算されます。4ビットの8Bモデルは約4GB、70Bモデルは約35GBです。長文コンテキストのKVキャッシュがさらに消費します。
  • セットアップ。 エンジンを選び、ファイルをダウンロードし、コンテキストサイズ、テンプレート、GPUにオフロードするレイヤー数を設定してからテストします。
  • 保守。 新しいモデルが絶えず登場します。再テストと再ダウンロードはルーチンの一部です。

GGUFファイルをダウンロードした後、llama.cppを使用した最小限のローカルサーバーは次のようになります。

llama-server -m ./model-Q4_K_M.gguf -c 8192 --port 8080

これは自分のマシンでOpenAIスタイルのAPIを公開します。実験には適していますが、メモリ節約のために多くのローカル環境が8,192トークンのコンテキストウィンドウを使うのに対し、このサイトのホストAPIが提供する100,000トークンより大幅に小さくなります。

比較のためのホスティングアクセス

ホスト版のエンドポイントはダウンロード、GPU、テンプレートを省略します。これはOpenAI互換APIであり、ベースURLとキーを変更すれば、任意のOpenAI SDKが動作します。

  • Base URL: https://api.abliteratedmodelhub.com/v1
  • モデルID: uncensored
  • Auth: Authorization: Bearer YOUR_KEY
  • Endpoints: POST /v1/chat/completions, POST /v1/responses and GET /v1/models
from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a GGUF file is in two sentences."}],
)
print(resp.choices[0].message.content)

これが何かを明確にしてください。これは独立したプロバイダが運用する1つのオープンウェイトモデルであり、コンテンツ拒否なしで回答するようにチューニングされています。特定のHugging Faceアップロードではなく、ウェイトを選択または交換することもできません。テキストのみ対応で、画像、音声、埋め込み、fine-tuningはありません。

比較

Hugging Faceの重み、自己実行ホスト型API
モデルの選択数百のバリエーション1つのモデル、ID uncensored
ハードウェアお客様が提供するなし
コストハードウェアと電気代入力1Mトークンあたり $0.15、出力1Mトークンあたり $0.50
コンテキストあなたのメモリによって制限されます100,000トークン
機能エンジンとモデルによるストリーミング、ツール呼び出し、JSONモード
同時実行通常、デスクトップでは一度に1つのリクエストフルアクセスキーでは同時8リクエスト
オフラインはいなし
重みの制御完全なし
セットアップ時間数時間〜数日数分

自己ホスティングは劣ったオプションではありません。重みの検査、マージ、ファインチューニングが必要な場合、またはネットワークなしで実行する必要がある場合は、それが唯一のオプションです。ホステッドAPIは、今日アプリケーションにモデルを統合したい場合に適切なツールです。

おそらく遭遇する問題

モデルが漫然と話したり、繰り返したりする

通常、チャットテンプレートが間違っているか、ストップトークンが不足しています。カードに記載されたテンプレートを使用し、エンジンがファイルから読み取らない場合はストップシーケンスを設定してください。

出力がベースモデルより劣る

アブリレーションは重みを編集し、重い編集は推論品質の低下を招く可能性があります。さらに4ビット量子化すると、さらに損失が発生します。手法のせいにする前に、同じモデルのより高精度なファイルを試してください。

メモリ不足

コンテキストサイズを下げる、量子化を小さくする、またはGPUへのオフロードレイヤー数を減らしてください。KVキャッシュはコンテキストとともに増加するため、正常に読み込めるモデルでも長いプロンプトで失敗する可能性があります。

それでも時折拒否することがあります

Abliterationは拒否を減らしますが、ゼロであることを保証するものではありません。タスクの正当なコンテキストを明記するシステムプロンプトはしばしば役立ちます。これはホスト型でもローカルでも同じです。

ツール呼び出しが機能しない

すべてのアップロードがそのためにトレーニングされたわけではなく、すべてのエンジンがすべてのテンプレートに対してそれを実装しているわけではありません。エージェントを設計する前に、簡単な関数呼び出しをテストしてください。ホステッドAPIはtools、tool_choice、ストリーミングされるtool_callsおよびJSONモードをサポートしており、独自のプロンプトやスキーマの動作を確認する簡単な方法となります。

適切なワークフロー

多くの開発者は両方を使います。まずはHugging Faceからのいくつかのアップロードを試して、好みの出力スタイルを確認してください。重要なプロンプトのメモを取ってください。その後、トライアルクレジット($0.50)を使って同じプロンプトをAPIでテストしてください。これはAPIキーページでサインアップ後にワンクリックで取得可能で、カード不要、7日間有効です。ホストモデルがアプリケーションに十分なら、ハードウェアの問題を回避できます。不十分なら、ウェイトで何を探すかのリストが得られます。

best abliterated model for codingのページではコード固有の基準をカバーしており、abliterated models on OpenRouterのページではホストアクセスを取得する別の方法を見ています。完全なパラメータと制限はdocsにあります。

エンドポイントだけが必要な開発者向けのコスト

アプリが月間20Mの入力トークンと4Mの出力トークンを送信すると仮定します。請求額は20 x $0.15 = $3.00に4 x $0.50 = $2.00を加えた$5.00です。そのような使い方はGPUの購入を正当化するほどではありません。一方で、特定のアップロード済みモデルを必要とするアプリや、数ヶ月にわたって絶えずトラフィックを送信するアプリは、独自のマシンを持つことを正当化する可能性があります。$20から$500までのチャージ額と、より大きなチャージに対するボーナスの詳細はpricingをご覧ください。クレジットは期限切れにならず、失敗したまたは拒否されたリクエストには課金されません。

ホストAPIに送信されたプロンプトは学習に使用されません。これらのオプションのいずれかは、合法的な成人向けの目的にのみ使用し、未成年者を含む性的なコンテンツには使用しないでください。

質問と回答

Hugging Faceでアブリレーション済みモデルはどこで入手できますか?

モデルハブで「abliterated」と基本モデル名を組み合わせて検索し、各モデルカードをお読みください。ダウンロード前にライセンス、フォーマット、チャットテンプレートを確認してください。

Hugging Faceのabliteratedモデルはダウンロードしても安全ですか?

手法を文書化しているアップローダーからのsafetensorsまたはGGUFファイルを優先し、コミュニティのディスカッションをお読みください。未知のソースからのpickledチェックポイントは避けてください。

このAPIを通じてHugging Faceのabliteratedモデルを使用できますか?

いいえ。APIはIDがuncensoredの1つの固定されたオープンウェイトモデルを提供します。ウェイトのアップロードや選択はできません。

ホストされたルートは、自分でモデルを実行するよりも安価ですか?

低容量または中程度のボリュームでは、通常は「はい」です。購入するハードウェアがないためです。一定の重負荷では、自分で実行する方が安くなる可能性があります。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得