TH ▾
รับคีย์ API

โมเดล Abliterated บน Hugging Face เทียบกับการเข้าถึงแบบโฮสต์

การค้นหาโมเดล abliterated บน huggingface จะพบการอัปโหลดจากชุมชนหลายร้อยรายการ การเลือกโมเดลหนึ่งและรันมันทำได้ แต่เป็นงานที่แตกต่างจากการเรียกใช้ endpoint แบบโฮสต์ หน้าเว็บนี้เปรียบเทียบทั้งสองวิธีสำหรับนักพัฒนา

อัปเดต

โมเดลขนาดเล็กหลายตัววางอยู่ข้างเซิร์ฟเวอร์คลาวด์ที่เชื่อมต่อกับแล็ปท็อป เปรียบเทียบ weights ที่ดาวน์โหลดกับการเข้าถึงแบบโฮสต์
ศูนย์รวมที่กระจายไปยังกล่องเล็ก ๆ หลายกล่อง ข้างทางตรงไปยังกล่องใหญ่ ตัวรวมเทียบกับ API เฉพาะ

ประเด็นสำคัญ

  • Hugging Face คือที่ที่ weights อยู่: มีการอัปโหลดจำนวนมาก คุณภาพหลากหลาย และใบอนุญาตที่หลากหลาย
  • การรันด้วยตัวเองมีค่าใช้จ่ายด้านฮาร์ดแวร์ เวลาในการตั้งค่า และความใส่ใจต่อ quantization และเทมเพลตแชท
  • endpoint OpenAI-compatible แบบโฮสต์ตัดขั้นตอนเหล่านั้นออกทั้งหมด โดยคิดค่าบริการ $0.15 และ $0.50 ต่อ 1 ล้านโทเคน
  • ใช้ weights เพื่อการควบคุมและการทำงานแบบออฟไลน์; ใช้ API เพื่อการผสานรวมที่รวดเร็ว

การค้นหา โมเดล abliterated huggingface พบการอัปโหลดโมเดล open-weight ยอดนิยมที่แก้ไขพฤติกรรม refusal ออกแล้ว ในหลายขนาดและรูปแบบ บางส่วนเป็น weights แบบ full-precision บางส่วนเป็นไฟล์ GGUF ที่ quantize แล้วสำหรับเครื่องมือที่ใช้ llama.cpp บางส่วนเป็นเวอร์ชันที่รวมหรือ fine-tune เพิ่มเติม ชื่อมักมีคำต่อท้ายเช่น "abliterated" หรือ "uncensored" และโมเดลฐานเดียวกันอาจมีหลายเวอร์ชันจากผู้สร้างต่างกัน

ความหลากหลายนี้คือทั้งข้อดีและข้อเสียของระบบนิเวศ คุณสามารถเลือกขนาดที่ตรงกับฮาร์ดแวร์ของคุณได้ แต่ไม่มีใครรับประกันว่าการอัปโหลดจะทำงานตามที่อธิบายไว้ และคำว่า "abliterated" ไม่ได้บอกคุณว่าการแก้ไขนั้นทำได้ดีเพียงใดหรือสูญเสียความสามารถไปมากน้อยแค่ไหน ให้ treat โมเดลแต่ละตัวเป็นตัวเลือกที่ต้องทดสอบ

วิธีอ่านโมเดลการ์ด

โมเดลการ์ดคือหน้าที่คุณเข้าถึงเมื่อเข้าไปใน repository อ่านรายการเหล่านี้ก่อนดาวน์โหลดไฟล์ขนาดหลายกิกะไบต์

  1. โมเดลพื้นฐาน โมเดลต้นฉบับสร้างจากโมเดลใดและเวอร์ชันใด คุณจะได้รับจุดแข็ง ความยาวของหน้าต่างบริบท และใบอนุญาตของมัน
  2. วิธีการ ผู้เขียนอธิบายวิธีการทำ abliteration และการประเมินผลหรือไม่? ความเงียบเป็นสัญญาณเตือน
  3. ใบอนุญาต ตรวจสอบข้อกำหนดการใช้งานเชิงพาณิชย์ ผู้อัปโหลดไม่สามารถให้สิทธิ์ที่ใบอนุญาตพื้นฐานไม่มีได้
  4. รูปแบบไฟล์ Safetensors และ GGUF เป็นตัวเลือกที่ปลอดภัยกว่าไฟล์ checkpoint แบบ pickled
  5. เทมเพลตแชท card หรือการกำหนดค่า tokenizer ควรแสดงรูปแบบของพรอมต์ เทมเพลตที่ผิดให้ผลลัพธ์ที่แปลกและเยิ่นเย้อ
  6. แท็บชุมชน ดูการสนทนาเพื่อรายงานไฟล์ที่เสียหายหรือผลลัพธ์ที่ลดลง
  7. ขนาดและการควอนไทซ์ รายการไฟล์บอกคุณว่าอะไรเหมาะกับหน่วยความจำของคุณ

สิ่งที่ต้องใช้เพื่อรันน้ำหนักโมเดลด้วยตัวเอง

ทรัพยากรสามอย่างเป็นตัวกำหนด: หน่วยความจำ เวลาในการตั้งค่า และการดูแลรักษา

  • หน่วยความจำ weights ใช้พื้นที่ประมาณจำนวนพารามิเตอร์คูณด้วยบิตต่อ weight หารด้วยแปด โมเดล 8B ที่ 4-bit ใช้พื้นที่ประมาณ 4 GB และโมเดล 70B ที่ 4-bit ใช้พื้นที่ประมาณ 35 GB KV cache สำหรับบริบทที่ยาวยังเพิ่มพื้นที่อีก
  • การตั้งค่า เลือก engine ดาวน์โหลดไฟล์ ตั้งขนาดหน้าต่างบริบท เทมเพลต และจำนวนชั้นที่โหลดไปยัง GPU จากนั้นทดสอบ
  • การดูแลรักษา โมเดลใหม่ปรากฏขึ้นตลอดเวลา การทดสอบซ้ำและดาวน์โหลดซ้ำเป็นส่วนหนึ่งของกิจวัตร

เซิร์ฟเวอร์ในเครื่องขั้นต่ำด้วย llama.cpp มีลักษณะดังนี้ หลังจากที่คุณดาวน์โหลดไฟล์ GGUF แล้ว:

llama-server -m ./model-Q4_K_M.gguf -c 8192 --port 8080

มันเปิดใช้งาน API สไตล์ OpenAI บนเครื่องของคุณเอง ซึ่งเหมาะสำหรับการทดลอง แต่หน้าต่างบริบทขนาด 8,192 โทเคน ซึ่งการตั้งค่าฮาร์ดแวร์ของผู้ใช้จำนวนมากใช้เพื่อประหยัดหน่วยความจำ มีขนาดเล็กกว่า 100,000 โทเคนที่เสนอโดย API แบบโฮสต์บนเว็บไซต์นี้

การเข้าถึงแบบโฮสต์เมื่อเปรียบเทียบ

เอนด์พอยต์แบบโฮสต์ข้ามการดาวน์โหลด, GPU และเทมเพลต มันคือ API ที่เข้ากันได้กับ OpenAI: SDK ของ OpenAI ใดๆ ก็ทำงานได้หลังจากที่คุณเปลี่ยน base URL และคีย์

  • Base URL: https://api.abliteratedmodelhub.com/v1
  • รหัสโมเดล: uncensored
  • การตรวจสอบสิทธิ์: Authorization: Bearer YOUR_KEY
  • Endpoints: POST /v1/chat/completions, POST /v1/responses และ GET /v1/models
from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a GGUF file is in two sentences."}],
)
print(resp.choices[0].message.content)

ทำความเข้าใจให้ชัดเจนว่าเป็นอะไร โมเดลแบบเปิดน้ำหนักหนึ่งตัวที่ให้บริการโดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่การอัปโหลดเฉพาะบน Hugging Face และคุณไม่สามารถเลือกหรือเปลี่ยนน้ำหนักได้ รองรับเฉพาะข้อความ: ไม่มีรูปภาพ เสียง การฝังตัว หรือการปรับแต่งเฉพาะ

เปรียบเทียบเคียงข้าง

น้ำหนัก Hugging Face, ดำเนินการเองAPI แบบโฮสต์
ตัวเลือกโมเดลหลายร้อยรูปแบบโมเดลเดียว ID uncensored
ฮาร์ดแวร์คุณจัดหาเองไม่มี
ต้นทุนฮาร์ดแวร์และไฟฟ้า$0.15 ต่อ 1M input, $0.50 ต่อ 1M output
บริบทจำกัดโดยหน่วยความจำของคุณ100,000 โทเคน
ฟีเจอร์ขึ้นอยู่กับเครื่องยนต์และโมเดลของคุณสตรีมมิง การเรียกใช้ฟังก์ชัน โหมด JSON
ความพร้อมกันปกติหนึ่งคำขอต่อครั้งบนเดสก์ท็อป8 คำขอพร้อมกันบนคีย์เต็ม
ออฟไลน์ใช่ไม่
ควบคุมน้ำหนักเต็มไม่มี
เวลาตั้งค่าชั่วโมงถึงวันนาที

การโฮสต์เองไม่ใช่ทางเลือกที่ด้อยกว่า หากคุณต้องการตรวจสอบ รวม หรือปรับแต่งน้ำหนัก หรือทำงานโดยไม่มีเครือข่าย การโฮสต์ API คือเครื่องมือที่เหมาะสมเมื่อคุณต้องการนำโมเดลไปรวมเข้ากับแอปพลิเคชันในวันนี้

ปัญหาที่คุณน่าจะพบ

โมเดลพูดพร่ำหรือทำซ้ำ

โดยทั่วไปแล้ว chat template จะผิด หรือ stop tokens หายไป ให้ใช้ template ที่มีชื่อในการ์ด และตั้งค่า stop sequence หากเครื่องมือไม่อ่านค่าจากไฟล์

ผลลัพธ์แย่กว่าโมเดลพื้นฐาน

Abliteration แก้ไขน้ำหนัก และการแก้ไขที่มากอาจทำให้คุณภาพการให้เหตุผลลดลง การควอนไทซ์เป็น 4 บิตเพิ่มเติมอาจทำให้สูญเสียมากขึ้น ลองใช้ไฟล์ความแม่นยำสูงกว่าของโมเดลเดียวกันก่อนที่จะโทษวิธีการ

หน่วยความจำหมด

ลดขนาดหน้าต่างบริบท เลือกการควอนไทซ์ที่เล็กลง หรือโหลดเลเยอร์ไปยัง GPU น้อยลง แคช KV จะเติบโตตามบริบท ดังนั้นโมเดลที่โหลดได้ปกติอาจล้มเหลวเมื่อใช้พรอมต์ที่ยาว

ยังคงปฏิเสธบางครั้ง

Abliteration ลดการปฏิเสธ แต่ไม่รับประกันศูนย์ พรอมต์ระบบที่ระบุบริบทที่ถูกต้องของงานมักช่วยได้ สิ่งเดียวกันนี้ใช้กับโมเดลทุกตัว ไม่ว่าจะเป็นแบบโฮสต์หรือแบบโลคัล

การเรียกใช้เครื่องมือไม่ทำงาน

ไม่ใช่ทุกอัปโหลดที่ฝึกฝนสำหรับสิ่งนี้ และไม่ใช่ทุกเครื่องยนต์ที่นำไปใช้กับทุกเทมเพลต ทดสอบการเรียกใช้ฟังก์ชันง่ายๆ ก่อนที่คุณจะออกแบบเอเจนต์โดยอิงจากสิ่งนี้ API แบบโฮสต์รองรับ tools, tool_choice, สตรีมมิง tool_calls และโหมด JSON ดังนั้นจึงเป็นวิธีที่รวดเร็วในการตรวจสอบว่าพรอมต์และสคีมาของคุณทำงานอย่างไร

เวิร์กโฟลว์ที่เหมาะสม

นักพัฒนาจำนวนมากใช้ทั้งสองวิธี เริ่มต้นด้วยการลองอัปโหลดจาก Hugging Face บางรายการเพื่อดูสไตล์ของผลลัพธ์ที่คุณชอบ จดบันทึกเกี่ยวกับพรอมต์ที่สำคัญสำหรับคุณ จากนั้นทดสอบพรอมต์เดียวกันกับ API โดยใช้เครดิตทดลองใช้ฟรี: $0.50 รับได้ด้วยการคลิกครั้งเดียวที่ หน้าคีย์ API หลังการสมัคร ไม่ต้องใช้บัตร ใช้ได้เป็นเวลา 7 วัน หากโมเดลแบบโฮสต์เพียงพอสำหรับแอปพลิเคชันของคุณ คุณก็จะไม่ต้องกังวลเรื่องฮาร์ดแวร์เลย หากไม่เพียงพอ คุณก็มีรายการสิ่งที่ต้องมองหาใน weights

หน้า โมเดล abliterated ที่ดีที่สุดสำหรับการเขียนโค้ด ครอบคลุมเกณฑ์เฉพาะสำหรับโค้ด และหน้าเกี่ยวกับ โมเดล abliterated บน OpenRouter ดูวิธีอื่นในการเข้าถึงแบบโฮสต์ พารามิเตอร์และขีดจำกัดทั้งหมดอยู่ใน เอกสาร

ต้นทุนสำหรับนักพัฒนาที่ต้องการเพียงเอนด์พอยต์

สมมติว่าแอปพลิเคชันส่ง input token 20 ล้านตัวและ output token 4 ล้านตัวต่อเดือน ค่าบิลคือ 20 x $0.15 = $3.00 บวก 4 x $0.50 = $2.00 ดังนั้น $5.00 การใช้จ่ายในระดับนี้ยังไม่คุ้มค่ากับการซื้อ GPU ส่วนแอปพลิเคชันที่ต้องการโมเดลที่อัปโหลดเฉพาะทาง หรือมีการส่ง traffic ตลอด 24 ชั่วโมงเป็นเวลานาน อาจคุ้มค่ากับการใช้เครื่องเซิร์ฟเวอร์ของตัวเอง ดู ราคา สำหรับยอดเติมเงินตั้งแต่ $20 ถึง $500 และโบนัสสำหรับยอดที่สูงขึ้น เครดิตไม่หมดอายุ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน

พรอมต์ที่ส่งไปยัง API ที่โฮสต์ไว้จะไม่ถูกนำไปใช้ในการฝึกโมเดล ใช้ตัวเลือกใดตัวเลือกหนึ่งเหล่านี้สำหรับวัตถุประสงค์ของผู้ใหญ่ที่ถูกต้องตามกฎหมายเท่านั้น และห้ามใช้กับเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

ถาม-ตอบ

ฉันจะหาโมเดล abliterated บน Hugging Face ได้อย่างไร?

ค้นหาในโมเดลฮับโดยพิมพ์คำว่า abliterated พร้อมชื่อโมเดลฐาน จากนั้นอ่านรายละเอียดโมเดลการ์ด ตรวจสอบใบอนุญาต รูปแบบ และเทมเพลตการแชทก่อนดาวน์โหลด

โมเดล abliterated บน Hugging Face ปลอดภัยต่อการดาวน์โหลดหรือไม่?

ควรเลือกไฟล์ safetensors หรือ GGUF จากผู้อัปโหลดที่อธิบายวิธีการใช้งาน และอ่านการสนทนาในชุมชน หลีกเลี่ยงไฟล์ checkpoint แบบ pickled จากแหล่งที่ไม่รู้จัก

ฉันสามารถใช้โมเดล abliterated จาก Hugging Face ผ่าน API นี้ได้หรือไม่?

ไม่ได้ API จัดเตรียมโมเดล open-weight แบบตายตัวเพียงโมเดลเดียวที่มี ID คือ uncensored คุณไม่สามารถอัปโหลดหรือเลือกน้ำหนักโมเดลเองได้

เอนด์พอยต์ที่โฮสต์ไว้ถูกกว่าการรันโมเดลด้วยตัวเองหรือไม่?

ที่ปริมาณการใช้งานระดับต่ำหรือปานกลาง มักจะถูกกว่าเพราะไม่ต้องซื้อฮาร์ดแวร์ แต่เมื่อมีการใช้งานหนักอย่างต่อเนื่อง การรันโมเดลด้วยตัวเองอาจมีต้นทุนต่ำกว่า

คีย์ของคุณอยู่ห่างแค่ฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API