TR ▾
API anahtarı al

Abliterate Edilmiş Modeller Hugging Face'de vs Barındırılan Erişim

"abliterated models huggingface" araması yüzlerce topluluk yüklemesi döndürür. Birini seçip çalıştırmak mümkündür ancak bu, barındırılan bir uç noktaya çağrı yapmaktan farklı bir iştir. Bu sayfa geliştiriciler için ikisini karşılaştırır.

güncellendi

Yüklenen ağırlıklarla barındırılan erişimi karşılaştıran, tek bir bulut sunucusuna bağlı dizüstü bilgisayarın yanında birçok küçük model küpü
Birçok küçük küpün etrafına yayılan bir merkez ile büyük bir küpe giden tek bir doğru yol; toplayıcıya karşı özel API

Temel noktalar

  • Hugging Face ağırlıkların bulunduğu yerdir: birçok yükleme, karışık kalite, çeşitli lisanslar.
  • Kendiniz çalıştırmak donanım, kurulum süresi ve nicelleme ile sohbet şablonlarına dikkat gerektirir.
  • Barındırılan bir OpenAI uyumlu uç nokta tüm bunları atlar; burada 1M token başına $0,15 ve $0,50 fiyatlarla.
  • Kontrol ve çevrimdışı çalışma için ağırlıkları kullanın; hızlı entegrasyon için API'yi kullanın.

abliterated models huggingface araması, reddetme davranışı kaldırılmış popüler açık ağırlıklı modellerin yüklemelerini ortaya çıkarır; birçok boyut ve formatta bulunur. Bazıları tam hassasiyetli ağırlıklardır, bazıları llama.cpp tabanlı araçlar için nicimlenmiş GGUF dosyalarıdır, bazıları ise daha fazla birleştirilmiş veya ince ayarlanmış varyantlardır. İsimler genellikle "abliterated" veya "uncensored" gibi bir sonek taşır ve aynı temel modelin farklı kişilerden onlarca sürümü olabilir.

Bu çeşitlilik ekosistemin hem iyi hem de kötü yönüdür. Donanımınıza uygun bir boyut seçebilirsiniz. Ancak bir yüklemenin açıklandığı gibi çalışacağına dair kimse garanti vermez ve "abliterated" terimi düzenlemenin ne kadar iyi yapıldığını veya ne kadar yetenek kaybı olduğunu söylemez. Her modeli test edilecek bir aday olarak değerlendirin.

Bir model kartını nasıl okursunuz

Model kartı, bir depo için girdiğiniz sayfadır. Gigabaytları indirmeden önce bu öğeleri okuyun.

  1. Temel model. Hangi orijinal modelden yapıldı ve hangi sürüm? Onun güçlü yönlerini, bağlam uzunluğunu ve lisansını devralırsınız.
  2. Yöntem. Yazar abliteration'ın nasıl yapıldığını ve neyin değerlendirildiğini açıklıyor mu? Sessizlik bir uyarı işaretidir.
  3. Lisans. Ticari kullanım şartlarını kontrol edin. Bir yükleyici, temel lisansın vermediği hakları veremez.
  4. Dosya formatı. Safetensors ve GGUF, pickled checkpointlerden daha güvenli seçeneklerdir.
  5. Sohbet şablonu. Kart veya tokenizer yapılandırması istem formatını göstermelidir. Yanlış şablon garip, dolaşık çıktılara neden olur.
  6. Topluluk sekmesi. Bozuk dosyalar veya bozulmuş çıktılar hakkındaki raporlar için tartışmalara bakın.
  7. Boyutlar ve nicellemeler. Dosya listesi belleğinize neyin uyacağını söyler.

Ağırlıkları kendiniz çalıştırmak için gerekenler

Üç kaynak belirleyicidir: bellek, kurulum süresi ve bakım.

  • Bellek. Ağırlıklar, ağırlık başına bit sayısının sekize bölünmesiyle yaklaşık parametre sayısı kadar bellek kaplar. 4 bit'lik 8B model yaklaşık 4 GB, 4 bit'lik 70B model yaklaşık 35 GB'tır. Uzun bağlam için KV önbelleği daha fazla ekler.
  • Kurulum. Bir motor seçin, bir dosya indirin, bağlam boyutunu, şablonu ve GPU'ya yüklenen katman sayısını ayarlayın, sonra test edin.
  • Bakım. Yeni modeller sürekli ortaya çıkar. Yeniden test etmek ve yeniden indirmek rutinin bir parçasıdır.

Bir GGUF dosyası indirdikten sonra llama.cpp ile minimal bir yerel sunucu şöyle görünür:

llama-server -m ./model-Q4_K_M.gguf -c 8192 --port 8080

Kendi makinenizde OpenAI tarzı bir API açığa çıkarır. Bu deneyler için harika çalışır. Ancak bellek tasarrufu için birçok tüketici kurulumun kullandığı 8.192 token'lık bir bağlam, bu sitedeki barındırılan API'nin sunduğu 100.000 token'dan çok daha küçüktür.

Barındırılan erişim karşılaştırması

Barındırılan bir uç nokta indirmeyi, GPU'yu ve şablonu atlar. OpenAI uyumlu bir API'dir: temel URL'yi ve anahtarı değiştirdikten sonra herhangi bir OpenAI SDK çalışır.

  • Temel URL: https://api.abliteratedmodelhub.com/v1
  • Model Kimliği: uncensored
  • Kimlik doğrulama: Authorization: Bearer YOUR_KEY
  • Uç noktalar: POST /v1/chat/completions, POST /v1/responses ve GET /v1/models
from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a GGUF file is in two sentences."}],
)
print(resp.choices[0].message.content)

Bunun ne olduğunu netleştirin. Bu, bağımsız bir sağlayıcı tarafından yürütülen ve yasal yetişkin kullanımı için içerik reddetmeleri olmadan cevap vermeye ayarlanmış tek bir açık ağırlıklı modeldir. Belirli bir Hugging Face yüklemesi değildir ve ağırlıkları seçip değiştiremezsiniz. Sadece metindir: resim, ses, gömme veya ince ayar yok.

Yan yana karşılaştırma

Hugging Face ağırlıkları, kendi çalıştırmaBarındırılan API
Model seçimiYüzlerce varyantID'si uncensored olan tek bir model
DonanımSiz sağlarsınızYok
MaliyetDonanım ve elektrik1M giriş için $0,15, 1M çıkış için $0,50
BağlamBelleğinizle sınırlıdır100.000 token
ÖzelliklerMotorunuza ve modele bağlıdırAkış, araç çağırma, JSON modu
EşzamanlılıkGenellikle masaüstünde bir seferde bir istekTam anahtarla 8 eşzamanlı istek
ÇevrimdışıEvetHayır
Ağırlıklar üzerinde kontrolTamYok
Kurulum süresiSaatler veya günlerDakikalar

Kendi kendine barındırma daha az iyi bir seçenek değildir. Ağırlıkları incelemek, birleştirmek veya ince ayar yapmak, veya ağ olmadan çalıştırmak istiyorsanız, bu tek seçenektir. Barındırılan API, bugün bir uygulamaya model entegre etmek istediğinizde doğru araçtır.

Muhtemelen karşılaşacağınız sorunlar

Model dolaşır veya kendini tekrarlar

Genellikle sohbet şablonu yanlıştır veya durdurma belirteçleri eksiktir. Kartta adı geçen şablonu kullanın ve motor dosyadan okumuyorsa bir durma dizisi ayarlayın.

Çıktı temel modelden daha kötü

Abliteration ağırlıkları düzenler ve ağır düzenlemeler bazı akıl yürütme kalitesine mal olabilir. Üzerine 4-bit'e nicelleme daha fazla kayıp ekleyebilir. Yöntemi suçlamadan önce aynı modelin daha yüksek hassasiyetli bir dosyasını deneyin.

Bellek yetersizliği

Bağlam boyutunu düşürün, daha düşük bir nicelleme seçin veya GPU'ya daha az katman yükleyin. KV önbelleği bağlamla büyür, bu yüzden düzgün yüklenen bir model uzun bir istekte başarısız olabilir.

Hala bazen reddediyor

Abliteration reddetmeleri azaltır; sıfır olduğunu garanti etmez. Görevin geçerli bağlamını belirten bir sistem istemi genellikle yardımcı olur. Bu durum, barındırılan veya yerel olan tüm modeller için geçerlidir.

Araç çağırma çalışmıyor

Her yükleme bunun için eğitilmemiştir ve her motor her şablon için bunu uygulamaz. Bir aracı buna göre tasarlamadan önce basit bir fonksiyon çağırma deneyin. Barındırılan API tools, tool_choice, akışlı tool_calls ve JSON modunu destekler; bu da kendi istem ve şemalarınızın nasıl davrandığını kontrol etmenin hızlı bir yoludur.

Makul bir iş akışı

Çoğu geliştirici her ikisini de kullanır. Hugging Face'ten birkaç yükleme deneyerek beğendiğiniz çıktı tarzını belirleyerek başlayın. Size önemli olan istemler hakkında notlar tutun. Ardından, deneme kredisi kullanarak aynı istemleri API'de test edin: $0,50, kayıt sonrası API anahtarı sayfası üzerinden tek tıkla alınır, kart gerekmez, 7 gün geçerlidir. Barındırılan model uygulama için yeterince iyiyse, tüm donanım sorunundan kaçınmış olursunuz. Yeterli değilse, ağırlıklarda neye dikkat etmeniz gerektiğine dair bir listeniz olur.

Kodlama için en iyi abliterated model sayfası kodla ilgili kriterleri kapsar ve OpenRouter'daki abliterated modeller sayfası barındırılan erişim elde etmenin başka bir yoluna odaklanır. Tam parametreler ve sınırlar dokümantasyonda yer alır.

Sadece bir uç nokta arayan bir geliştirici için maliyet

Bir uygulama ayda 20M giriş token'ı ve 4M çıkış token'ı gönderiyor olsun. Fatura 20 x $0,15 = $3,00 artı 4 x $0,50 = $2,00, yani $5,00 eder. Bu kadar harcama bir GPU satın almayı haklı çıkarmaz. Diğer uçta, belirli bir yüklenmiş modele ihtiyaç duyan veya aylarca kesintisiz trafik gönderen bir uygulama kendi makinesini haklı çıkartabilir. fiyatlandırma sayfasında $20 ile $500 arasında bakiye yükleme miktarlarını ve daha büyük miktarlar için bonusları görün. Kredi asla sona ermez, başarısız veya reddedilen istekler için ücret alınmaz.

Barındırılan API'ye gönderilen istemler eğitim için kullanılmaz. Bu seçeneklerin herhangi birini yalnızca yasal yetişkin amaçlar için kullanın ve reşit olmayanlar içeren cinsel içerik için asla kullanmayın.

Sorular ve cevaplar

Hugging Face'te abliterated modelleri nasıl bulabilirim?

Model hub'ında "abliterated" kelimesini ve temel model adını birlikte arayıp her model kartını okuyun. İndirmeden önce lisansı, formatı ve sohbet şablonunu kontrol edin.

Hugging Face'teki abliterated modelleri indirmek güvenli mi?

Yöntemlerini belgeleyen yükleyicilerden safetensors veya GGUF dosyalarını tercih edin ve topluluk tartışmalarını okuyun. Bilinmeyen kaynaklardan gelen, pickle ile kaydedilmiş kontrol noktalarından kaçının.

Bir Hugging Face abliterated modelini bu API üzerinden kullanabilir miyim?

Hayır. API, ID'si uncensored olan tek bir sabit açık ağırlıklı modeli sunar. Ağırlık yükleyemez veya seçemezsiniz.

Barındırılan yol, modeli kendim çalıştırmaktan daha ucuz mu?

Düşük veya orta hacimde genellikle evet, çünkü satın alınacak donanım yoktur. Sürekli yüksek yükte, kendi modelinizi çalıştırmak daha ucuza mal olabilir.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve temel URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al