HI ▾
API कुंजी पाएँ

Hugging Face पर एबलिटरेटेड मॉडल बनाम होस्टेड एक्सेस

abliterated मॉडल की खोज huggingface पर सैकड़ों समुदाय अपलोड लौटाती है। एक चुनना और उसे चलाना संभव है, लेकिन यह होस्टेड एंडपॉइंट कॉल करने से अलग काम है। यह पेज डेवलपर्स के लिए दोनों की तुलना करता है।

अपडेट किया गया

लैपटॉप से जुड़े एक क्लाउड सर्वर के बगल में कई छोटे मॉडल क्यूब्स, डाउनलोड किए गए वेट्स की होस्टेड एक्सेस से तुलना
एक हब जो कई छोटे घनों की ओर फैलता है, एक बड़े घन की ओर एक सीधी राह के बगल में, एग्रीगेटर बनाम समर्पित API

मुख्य बिंदु

  • Hugging Face वह जगह है जहाँ वेट्स रहते हैं: कई अपलोड, मिश्रित गुणवत्ता, विविध लाइसेंस।
  • उन्हें खुद चलाने में हार्डवेयर, सेटअप समय और क्वांटीजेशन व चैट टेम्पलेट पर ध्यान लगता है।
  • एक होस्टेड OpenAI-कम्पैटिबल एंडपॉइंट वह सब छोड़ देता है, यहाँ 1M टोकन के लिए $0.15 और $0.50 पर।
  • नियंत्रण और ऑफ़लाइन काम के लिए वेट्स का उपयोग करें; तेज़ इंटीग्रेशन के लिए API का उपयोग करें।

abliterated मॉडल huggingface पर खोजने से लोकप्रिय ओपन-वेट मॉडल के अपलोड मिलते हैं जिनमें रिफ्यूजल व्यवहार को हटा दिया गया है, कई आकारों और फ़ॉर्मेट में। कुछ पूर्ण-सटीक वेट्स हैं, कुछ llama.cpp-आधारित टूल्स के लिए क्वांटाइज़्ड GGUF फ़ाइलें हैं, कुछ ऐसे वेरिएंट हैं जिन्हें आगे मर्ज या फाइन-ट्यून किया गया है। नामों में अक्सर "abliterated" या "uncensored" जैसे सफ़िक्स होते हैं, और उसी बेस मॉडल के अलग-अलग लोगों द्वारा बनाए गए दर्जन भर वर्जन हो सकते हैं।

यह विविधता इकोसिस्टम की अच्छी और बुरी दोनों बातें हैं। आप अपने हार्डवेयर के अनुकूल आकार चुन सकते हैं। लेकिन कोई यह गारंटी नहीं देता कि कोई अपलोड वर्णन के अनुसार काम करेगा, और "abliterated" शब्द यह नहीं बताता कि एडिट कितनी अच्छी तरह की गई है या कितनी क्षमता खो गई है। प्रत्येक मॉडल को परीक्षण के लिए एक उम्मीदवार मानें।

मॉडल कार्ड कैसे पढ़ें

मॉडल कार्ड वह पेज है जहाँ आप किसी रिपॉज़िटरी पर पहुँचते हैं। गिगाबाइट डाउनलोड करने से पहले ये आइटम पढ़ें।

  1. बेस मॉडल। यह किस मूल मॉडल और किस संस्करण से बना है? आप उसकी ताकत, कॉन्टेक्स्ट लंबाई और लाइसेंस प्राप्त करते हैं।
  2. विधि। क्या लेखक ने यह समझाया है कि एब्लिटरेशन कैसे किया गया और क्या मूल्यांकन किया गया? चुप्पी एक चेतावनी का संकेत है।
  3. लाइसेंस। वाणिज्यिक उपयोग की शर्तों की जाँच करें। अपलोडर बेस लाइसेंस द्वारा न दिए गए अधिकार नहीं दे सकता।
  4. फ़ाइल फ़ॉर्मेट। Safetensors और GGUF चुनेना pickled चेकपॉइंट्स की तुलना में सुरक्षित विकल्प हैं।
  5. चैट टेम्पलेट। कार्ड या टोकनाइज़र कॉन्फ़िग में प्रॉम्प्ट फ़ॉर्मेट दिखना चाहिए। गलत टेम्पलेट अजीब, भटकते हुए आउटपुट देता है।
  6. समुदाय टैब। टूटी हुई फ़ाइलों या खराब हुए आउटपुट की रिपोर्ट के लिए चर्चाएँ देखें।
  7. आकार और क्वांटाइज़ेशन। फ़ाइलों की सूची बताती है कि आपकी मेमोरी में क्या फ़िट होगा।

वेट्स को स्वयं चलाने के लिए क्या आवश्यक है

तीन संसाधन इसे तय करते हैं: मेमोरी, सेटअप समय और रखरखाव।

  • मेमोरी। वेट्स लगभग पैरामीटर की संख्या गुणा प्रति वेट बिट्स, भाग आठ से लेते हैं। 4-बिट पर 8B मॉडल लगभग 4 GB का होता है, 70B मॉडल 4-बिट पर लगभग 35 GB का। लंबे कॉन्टेक्स्ट के लिए KV कैश और जोड़ता है।
  • सेटअप। एक इंजन चुनें, एक फ़ाइल डाउनलोड करें, कॉन्टेक्स्ट साइज़, टेम्पलेट और GPU पर लोड होने वाली परतों की संख्या सेट करें, फिर परीक्षण करें।
  • रखरखाव। नए मॉडल लगातार आते रहते हैं। पुनः परीक्षण और पुनः डाउनलोड करना रूटीन का हिस्सा है।

llama.cpp के साथ एक न्यूनतम लोकल सर्वर इस प्रकार दिखता है, जब आपने एक GGUF फ़ाइल डाउनलोड कर ली हो:

llama-server -m ./model-Q4_K_M.gguf -c 8192 --port 8080

यह आपके मशीन पर OpenAI-शैली का एंडपॉइंट प्रदान करता है। यह प्रयोगों के लिए अच्छा काम करता है। लेकिन 8,192 टोकन का कॉन्टेक्स्ट, जिसे मेमोरी बचाने के लिए कई कंज्यूमर सेटअप उपयोग करते हैं, इस साइट पर होस्टेड API द्वारा प्रदान किए जाने वाले 100,000 टोकन से कहीं छोटा है।

मेज़बान एक्सेस की तुलना

एक होस्टेड एंडपॉइंट डाउनलोड, GPU और टेम्पलेट को छोड़ देता है। यह एक OpenAI-संगत API है: आप बेस URL और कुंजी बदलने के बाद कोई भी OpenAI SDK काम करेगा।

  • बेस URL: https://api.abliteratedmodelhub.com/v1
  • मॉडल आईडी: uncensored
  • प्रमाणीकरण: Authorization: Bearer YOUR_KEY
  • एंडपॉइंट: POST /v1/chat/completions, POST /v1/responses और GET /v1/models
from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a GGUF file is in two sentences."}],
)
print(resp.choices[0].message.content)

इसके बारे में स्पष्ट रहें। यह एक ओपन-वेट मॉडल है जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड किया गया है। यह एक विशिष्ट Hugging Face अपलोड नहीं है, और आप वेट्स को चुन या बदल नहीं सकते। यह केवल टेक्स्ट है: कोई इमेज, ऑडियो, एम्बेडिंग्स या फाइन-ट्यूनिंग नहीं।

साइड-बाय-साइड

Hugging Face वेट्स, स्वयं चलाया गयाहोस्टेड API
मॉडल का चयनसैकड़ों वेरिएंटएक मॉडल, ID uncensored
हार्डवेरआप इसे प्रदान करते हैंकोई नहीं
लागतहार्डवेर और बिजली$0.15 प्रति 1M इनपुट, $0.50 प्रति 1M आउटपुट
कॉन्टेक्स्ट विंडोआपकी मेमोरी द्वारा सीमित100,000 टोकन
विशेषताएँआपके इंजन और मॉडल पर निर्भर करता हैस्ट्रीमिंग, टूल कॉलिंग, JSON मोड
समानांतर अनुरोधडेस्कटॉप पर आमतौर पर एक समय में एक अनुरोधपूर्ण कुंजी पर 8 समानांतर अनुरोध
ऑफलाइनहाँनहीं
वेट्स पर नियंत्रणपूर्णकोई नहीं
सेटअप समयघंटे से लेकर दिनमिनट

सेल्फ-होस्टिंग कमतर विकल्प नहीं है। यदि आपको वेट्स को इन्स्पेक्ट, मर्ज या फाइन-ट्यून करने की आवश्यकता है, या बिना नेटवर्क के चलाना है, तो यह एकमात्र विकल्प है। होस्टेड API वह सही टूल है जब आप आज ही किसी एप्लिकेशन में मॉडल को इंटीग्रेट करना चाहते हैं।

समस्याएँ जो आपको शायद आ सकती हैं

मॉडल लंबित हो जाता है या स्वयं को दोहराता है

आमतौर पर चैट टेम्पलेट गलत होता है, या स्टॉप टोकन गायब होते हैं। कार्ड पर नामित टेम्पलेट का उपयोग करें, और यदि इंजन फ़ाइल से इसे नहीं पढ़ता है तो स्टॉप सीक्वेंस सेट करें।

आउटपुट बेस मॉडल से खराब है

एबलिटरेशन वेट्स को एडिट करता है, और भारी एडिट्स से रीजनिंग क्वालिटी में कुछ नुकसान हो सकता है। ऊपर क्वांटीज़िंग 4-बिट पर और भी नुकसान जोड़ सकता है। विधि को दोष देने से पहले उसी मॉडल की उच्च-प्रिसिजन फ़ाइल आज़माएं।

मेमोरी की कमी

कॉन्टेक्स्ट साइज़ कम करें, छोटी क्वांटीज़ेशन चुनें, या GPU पर कम लेयर्स ऑफलोड करें। KV कैश कॉन्टेक्स्ट के साथ बढ़ता है, इसलिए एक मॉडल जो ठीक से लोड हो जाता है, वह लंबे प्रॉम्प्ट पर विफल हो सकता है।

यह अभी भी कभी-कभी रिफ्यूज करता है

एबलिटरेशन रिफ्यूज़ल कम करता है; यह शून्य की गारंटी नहीं देता। एक सिस्टम प्रॉम्प्ट जो कार्य के वैध संदर्भ को बताता है, अक्सर मदद करता है। यह होस्टेड या लोकल किसी भी मॉडल के लिए सच है।

टूल कॉलिंग काम नहीं करती

हर अपलोड इसके लिए ट्रेन नहीं किया गया है, और हर इंजन हर टेम्पलेट के लिए इसे इम्प्लीमेंट नहीं करता है। इसके आसपास एक एजेंट डिज़ाइन करने से पहले एक सरल फ़ंक्शन कॉल टेस्ट करें। होस्टेड API tools, tool_choice, स्ट्रीमड tool_calls और JSON मोड को सपोर्ट करता है, इसलिए यह अपने प्रॉम्प्ट्स और स्कीमा के व्यवहार को जांचने का एक तेज़ तरीका है।

एक उचित वर्कफ़्लो

बहुत से डेवलपर दोनों का उपयोग करते हैं। Hugging Face से कुछ अपलोड आज़माकर शुरू करें ताकि यह देख सकें कि आपको किस तरह का आउटपुट पसंद है। उन प्रॉम्प्ट्स पर नोट्स रखें जो आपके लिए महत्वपूर्ण हैं। फिर ट्रायल क्रेडिट: $0.50 का उपयोग करके API पर वही प्रॉम्प्ट टेस्ट करें: साइन-अप के बाद API कुंजी पेज पर एक क्लिक पर दावा करें, कार्ड की आवश्यकता नहीं, 7 दिनों के लिए मान्य। यदि होस्टेड मॉडल एप्लिकेशन के लिए पर्याप्त है, तो आप पूरी हार्डवेयर समस्या से बच जाते हैं। यदि नहीं, तो आपके पास वेट्स में क्या खोजना है, उसकी एक सूची होती है।

कोडिंग के लिए सर्वोत्तम अनसेंसर्ड मॉडल पेज कोड-विशिष्ट मानदंडों को कवर करता है, और OpenRouter पर अनसेंसर्ड मॉडल पेज होस्टेड एक्सेस प्राप्त करने के एक अन्य तरीके पर ध्यान केंद्रित करता है। पूर्ण पैरामीटर और सीमाएँ दस्तावेज़ में हैं।

एक ऐसे डेवलपर के लिए लागत जिसे केवल एक एंडपॉइंट चाहिए

मान लीजिए एक ऐप महीने में 20M इनपुट टोकन और 4M आउटपुट टोकन भेजता है। बिल 20 x $0.15 = $3.00 प्लस 4 x $0.50 = $2.00, यानी $5.00। इस तरह खर्च करने से GPU खरीदने का औचित्य नहीं बनता। दूसरी ओर, एक ऐप जो विशिष्ट अपलोड किए गए मॉडल की आवश्यकता रखता है, या महीनों तक दिन-रात ट्रैफ़िक भेजता है, वह अपनी मशीन का औचित्य साबित कर सकता है। $20 से $500 तक टॉप-अप राशियाँ और बड़ी राशियों पर बोनस के लिए मूल्य देखें। क्रेडिट कभी समाप्त नहीं होता, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता।

होस्टेड API को भेजे गए प्रॉम्प्ट प्रशिक्षण के लिए उपयोग नहीं किए जाते हैं। इनमें से किसी भी विकल्प का उपयोग केवल कानूनी वयस्कों के उद्देश्यों के लिए करें, और नाबालिगों से संबंधित यौन सामग्री के लिए कभी नहीं।

प्रश्न और उत्तर

Hugging Face पर अनसेंसर्ड मॉडल कहाँ मिलते हैं?

मॉडल हब में बेस मॉडल के नाम के साथ शब्द अनसेंसर्ड की खोज करें, फिर प्रत्येक मॉडल कार्ड पढ़ें। डाउनलोड करने से पहले लाइसेंस, फ़ॉर्मेट और चैट टेम्पलेट की जाँच करें।

क्या Hugging Face पर अनसेंसर्ड मॉडल डाउनलोड करने के लिए सुरक्षित हैं?

उन अपलोडर्स से सैफ़टेन्सर या GGUF फ़ाइलों को प्राथमिकता दें जो अपनी विधि को दस्तावेज़ित करते हैं, और समुदाय चर्चाओं को पढ़ें। अज्ञात स्रोतों से पिकल्ड चेकपॉइंट से बचें।

क्या मैं इस API के माध्यम से एक Hugging Face अनसेंसर्ड मॉडल का उपयोग कर सकता हूँ?

नहीं। API एक निश्चित ओपन-वेट मॉडल को सर्व करता है जिसका ID uncensored है। आप वेट अपलोड या चुन नहीं सकते हैं।

क्या होस्टेड रूट खुद मॉडल चलाने से सस्ता है?

कम या मध्यम मात्रा पर, आमतौर पर हाँ, क्योंकि हार्डवेयर खरीदने की आवश्यकता नहीं है। निरंतर भारी लोड पर, अपनी खुद की मॉडल चलाना सस्ता पड़ सकता है।

आपकी कुंजी बस एक फॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ