Model Abliterasi Gratis: Lokal, Demo, dan Kredit Uji Coba
Anda bisa mendapatkan model abliterasi gratis dengan beberapa cara, tetapi setiap cara memiliki kelemahan: perangkat keras, antrean, atau waktu. Berikut adalah opsi apa saja, biaya sebenarnya, dan apa yang bisa dilakukan oleh uji coba tanpa kartu.


Poin utama
- Bobot gratis ada, tetapi menjalankannya membutuhkan GPU atau banyak kesabaran pada CPU.
- Demo gratis bersifat bersama, dibatasi laju, dan berubah tanpa pemberitahuan, sehingga cocok untuk melihat sekilas, bukan untuk proyek.
- Kredit uji coba $0,50 di sini kira-kira setara dengan 1.250 permintaan obrolan pendek, cukup untuk pengujian API yang nyata.
- Opsi gratis bagus untuk evaluasi; bayar sesuai penggunaan cocok untuk apa pun yang Anda andalkan.
Apa yang dimaksud dengan model abliterasi gratis
Model abliterasi adalah model bahasa bobot terbuka yang telah diedit untuk menghilangkan kecenderungannya menolak permintaan. Teknik ini mengidentifikasi arah dalam aktivasi internal model yang terkait dengan penolakan dan menghilangkannya. Hasilnya menjawab lebih langsung, meskipun kualitas bisa berbeda dari aslinya, dan pengunggah yang berbeda mendapatkan hasil yang berbeda.
Ketika Anda mencari model abliterasi gratis, biasanya Anda menginginkan salah satu dari tiga hal: bobot untuk dijalankan di mesin Anda sendiri, halaman web untuk mengobrol dengan salah satunya, atau API yang dapat Anda panggil dari kode tanpa membayar terlebih dahulu. Itu adalah masalah yang berbeda dengan jawaban yang berbeda. Bagian di bawah ini membahasnya satu per satu.
Opsi 1: unduh bobot dan jalankan secara lokal
Unggahan komunitas model abliterasi dipublikasikan di situs penghost model, sering kali sebagai file kuantisasi yang berjalan di alat seperti llama.cpp, Ollama, atau LM Studio. Perangkat lunaknya gratis dan unduhannya juga gratis. Yang Anda bayar adalah mesinnya.
- Memori menetapkan batas. Sebagai aturan kasar, bobot membutuhkan parameter kali bit per bobot dibagi delapan. Model 8B pada 4-bit adalah sekitar 4 GB, model 70B pada 4-bit sekitar 35 GB, ditambah memori kerja untuk konteks.
- Tanpa GPU dimungkinkan tetapi lambat. Model kecil berjalan pada CPU dengan RAM yang cukup, dengan kecepatan yang cocok untuk pengujian lebih dari obrolan harian.
- Kualitas bervariasi. Baca kartu model, periksa lisensi, dan lebihkan file dari pengunggah yang menjelaskan cara mereka membuatnya.
Jalur ini benar-benar gratis jika Anda sudah memiliki perangkat kerasnya. Jika Anda harus membelinya, itu sama sekali tidak gratis. Halaman kami tentang model abliterasi terbaik untuk pemrograman mencakup apa yang harus dicari ketika penggunaannya adalah pemrograman.
Opsi 2: demo gratis dan ruang bersama
Beberapa pengunggah dan komunitas menghosting halaman demo tempat Anda bisa mengobrol dengan model secara gratis. Itu bagus untuk kesan pertama. Harap perhatikan batas-batas ini:
- Antrian bersama. Saat beban tinggi, Anda menunggu, atau halaman habis waktu.
- Tidak ada stabilitas. Demo bisa hilang, mengubah model, atau menambahkan batasan tanpa peringatan.
- Tidak ada jaminan API. Bahkan ketika demo mengekspos endpoint, itu tidak dimaksudkan untuk aplikasi.
- Penanganan data yang tidak jelas. Baca apa yang dikatakan halaman tentang logging sebelum Anda menempelkan apa pun yang pribadi.
Gunakan demo untuk memutuskan apakah gaya model cocok untuk Anda. Jangan membangun di atasnya.
Opsi 3: kredit uji coba pada API bayar-per-token
Rute ketiga adalah API yang dihosting dengan uji coba gratis. Di sini, pengguna baru bisa mengklaim kredit uji coba $0,50 dengan satu klik di halaman kunci API setelah mendaftar dengan Google atau dengan email dan kata sandi. Ini tidak membutuhkan kartu, satu per orang, dan berlaku selama 7 hari. Kunci uji coba memungkinkan 2 permintaan bersamaan dan 60 permintaan per menit.
API kompatibel dengan OpenAI, jadi SDK OpenAI apa pun berfungsi setelah Anda mengubah URL dasar dan kunci. ID modelnya adalah uncensored. Ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini hanya teks, dan batas kerasnya adalah larangan konten seksual yang melibatkan anak di bawah umur.
Apa yang bisa dibeli dengan $0,50 kredit uji coba
Harganya adalah $0,15 per 1M token input dan $0,50 per 1M token output. Permintaan yang gagal atau ditolak tidak dikenakan biaya. Berikut adalah matematika untuk permintaan obrolan pendek khas dengan 1.000 token input dan 500 token output:
- Input: 1.000 / 1.000.000 x $0,15 = $0,00015
- Output: 500 / 1.000.000 x $0,50 = $0,00025
- Per permintaan: $0.0004
- $0,50 / $0,0004 = 1.250 permintaan
Pertukaran yang lebih panjang menggunakan lebih banyak. Percakapan di mana setiap giliran mengirim ulang riwayat mungkin rata-rata 5.000 token masukan dan 500 token keluaran: $0.00075 + $0.00025 = $0.001 per permintaan, sehingga kredit uji coba mencakup sekitar 500 di antaranya. Bagaimanapun, itu cukup untuk menguji prompt, nada, dan pemanggilan alat di seluruh proyek nyata, yang tidak dapat diberikan oleh sebagian besar demo gratis.
Cara yang adil untuk menggunakannya: tulis sepuluh prompt yang mewakili penggunaan nyata Anda, jalankan masing-masing sekali pada suhu rendah, dan catat jumlah token dalam responsnya. Kemudian kalikan dengan volume bulanan yang Anda harapkan. Jika sepuluh prompt menghabiskan total $0,004, maka seribu per bulan harganya sekitar $0,40. Perhitungan ini memberi tahu Anda apakah tier berbayar layak dipertimbangkan, dan Anda melakukannya tanpa menyerahkan detail kartu. Jika Anda berharap API berperilaku seperti unggahan komunitas tertentu, ujilah juga, karena berbagai model abliterasi memberikan jawaban yang berbeda.
Coba dalam dua menit
Setelah Anda memiliki kunci, ini adalah seluruh pengujian. Atur URL dasar dan model, dan kirimkan prompt.
curl https://api.abliteratedmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Explain what a refusal direction is in two sentences."}]}'Atau dari Python:
from openai import OpenAI
client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List three risks of running unvetted model weights."}],
)
print(r.choices[0].message.content)Header respons X-Balance-USD menunjukkan sisa setelah setiap panggilan, dan GET /v1/balance juga mengembalikannya. dokumentasi mencantumkan streaming, pemanggilan alat, dan mode JSON.
Pemeriksaan sebelum Anda mempercayai unduhan atau demo gratis
Gratis juga berarti belum disaring. Beberapa kebiasaan menjaga Anda dari masalah.
Untuk bobot yang diunduh
- Pilih format yang tidak dapat menjalankan kode saat dimuat, seperti safetensors atau GGUF, daripada checkpoint pickle.
- Baca lisensi. Beberapa lisensi bobot terbuka membatasi penggunaan komersial atau memerlukan atribusi, dan pengunggah tidak bisa menimpa lisensi asli.
- Periksa template obrolan. Template yang salah adalah alasan paling umum mengapa model tampaknya rusak atau mengigau. Kartu model biasanya menyebutkan yang benar.
- Bandingkan kuantisasi. File 4-bit lebih kecil dan lebih cepat tetapi bisa kehilangan beberapa akurasi dibandingkan 8-bit. Coba keduanya dan simpan yang bertahan pada prompt Anda.
Untuk demo dan tier gratis
- Asumsikan prompt mungkin dicatat. Jangan sertakan nama, kunci, dan dokumen pribadi.
- Jangan mengikat produk ke halaman yang tidak Anda kendalikan.
- Tuliskan prompt mana yang Anda coba, sehingga Anda bisa mengulangi pengujian yang sama pada opsi lain dan membandingkannya secara adil.
Abliterasi mengubah perilaku penolakan; ini tidak menambah pengetahuan. Model abliterasi masih dapat mengarang fakta, dan lebih sedikit penolakan berarti Anda lebih banyak memegang penilaian tentang apa yang harus ditanyakan dan bagaimana menggunakan jawabannya. Hanya untuk penggunaan dewasa yang sah, dan tidak pernah melibatkan anak di bawah umur.
Gratis versus bayar sesuai penggunaan: cara memilih
| Kebutuhan | Pencocok terbaik |
|---|---|
| Lihat seperti apa gayanya | Demo gratis |
| Penggunaan offline, kontrol penuh atas bobot | Unduhan lokal, jika Anda memiliki perangkat keras |
| Uji aplikasi terhadap sebuah endpoint API | Kredit uji coba |
| Sesuatu yang Anda andalkan setiap hari | Bayar sesuai pemakaian, saldo prabayar, tanpa langganan |
Saat kredit uji coba habis, isi ulang adalah jumlah bulat dari $20 hingga $500, dengan bonus 5% dari $50, 10% dari $100 dan 15% dari $200. Kredit tidak pernah kedaluwarsa, dan Anda membayar dengan kripto. Lihat halaman harga untuk detailnya. Untuk gambaran lebih luas tentang model tanpa pembatasan, baca halaman kami tentang model AI tanpa pembatasan.
Gunakan hanya untuk tujuan dewasa yang sah, dan hindari memasukkan data pribadi ke dalam prompt.
Panduan lainnya
Tanya jawab
Apakah ada model Abliterated gratis yang bisa Anda gunakan secara online?
Halaman demo komunitas ada, tetapi bersifat bersama, tidak dapat diandalkan, dan tidak dimaksudkan untuk aplikasi. Kredit uji coba pada API yang di-hosting memberi Anda pengujian yang lebih stabil.
Berapa banyak kredit uji coba yang saya dapatkan?
$0,50, satu per orang, berlaku selama 7 hari, tanpa perlu kartu. Dengan 1.000 token input dan 500 token output per permintaan, itu sekitar 1.250 permintaan.
Bisakah saya menjalankan model Abliterated di laptop?
Model kuantisasi kecil dapat berjalan di laptop dengan RAM yang cukup, tetapi lambat tanpa GPU yang mumpuni. Periksa ukuran model terhadap memori Anda terlebih dahulu.
Apakah model yang di-hosting sama dengan unggahan abliterated di Hugging Face?
Tidak. Ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten. Jangan mengasumsikan bahwa ini cocok dengan unggahan spesifik apa pun.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.