Mô hình Abliterated Miễn phí: Chạy cục bộ, Demo và Tín dụng dùng thử
Bạn có thể nhận mô hình abliterated miễn phí theo một vài cách, nhưng mỗi cách đều có nhược điểm: phần cứng, hàng đợi hoặc thời gian. Dưới đây là các tùy chọn, chi phí thực sự của chúng và những gì một bản dùng thử không cần thẻ tín dụng có thể làm được.


Điểm chính
- Các trọng số miễn phí tồn tại, nhưng chạy chúng cần GPU hoặc rất nhiều kiên nhẫn trên CPU.
- Các demo miễn phí được chia sẻ, bị giới hạn tốc độ và thay đổi mà không báo trước, vì vậy chúng phù hợp để xem nhanh chứ không phải cho dự án.
- Tín dụng dùng thử $0,50 ở đây tương đương khoảng 1.250 yêu cầu trò chuyện ngắn, đủ để kiểm tra thực tế một API.
- Các tùy chọn miễn phí tốt để đánh giá; trả tiền theo mức sử dụng phù hợp cho bất cứ thứ gì bạn phụ thuộc vào.
Ý nghĩa của mô hình abliterated miễn phí
Mô hình abliterated là mô hình ngôn ngữ trọng số mở đã được chỉnh sửa để loại bỏ xu hướng từ chối yêu cầu. Kỹ thuật này xác định một hướng trong các kích hoạt nội bộ của mô hình liên quan đến việc từ chối và loại bỏ nó. Kết quả là câu trả lời trực tiếp hơn, mặc dù chất lượng có thể khác với bản gốc, và các nhà tải lên khác nhau sẽ có kết quả khác nhau.
Khi mọi người tìm kiếm một mô hình abliterated miễn phí, họ thường muốn một trong ba thứ: các trọng số để chạy trên máy của riêng họ, một trang web để trò chuyện với nó, hoặc một API họ có thể gọi từ mã mà không cần trả tiền trước. Đó là những vấn đề khác nhau với các câu trả lời khác nhau. Các phần bên dưới sẽ xem xét từng vấn đề một.
Tùy chọn 1: tải trọng số về và chạy chúng cục bộ
Các bản tải lên cộng đồng về các mô hình abliterated được công bố trên các trang web lưu trữ mô hình, thường dưới dạng các tệp đã lượng tử hóa chạy trong các công cụ như llama.cpp, Ollama hoặc LM Studio. Phần mềm miễn phí và bản tải xuống cũng miễn phí. Bạn trả tiền cho máy móc (phần cứng).
- Bộ nhớ (RAM) là yếu tố giới hạn. Theo quy tắc chung, trọng số cần số tham số nhân với số bit trên mỗi trọng số chia cho tám. Mô hình 8B ở 4-bit chiếm khoảng 4 GB, mô hình 70B ở 4-bit khoảng 35 GB, cộng thêm bộ nhớ làm việc cho ngữ cảnh.
- Không cần GPU nhưng sẽ chậm. Các mô hình nhỏ chạy trên CPU với đủ RAM, ở tốc độ phù hợp để kiểm tra hơn là trò chuyện hàng ngày.
- Chất lượng khác nhau. Đọc thẻ mô hình, kiểm tra giấy phép và ưu tiên các tệp từ các nhà tải lên giải thích cách họ tạo ra chúng.
Cách này thực sự miễn phí nếu bạn đã sở hữu phần cứng. Nếu bạn phải mua nó, thì nó không miễn phí chút nào. Trang của chúng tôi về mô hình abliterated tốt nhất cho lập trình bao gồm những điều cần tìm khi mục đích là lập trình.
Tùy chọn 2: demo miễn phí và không gian chia sẻ
Một số nhà tải lên và cộng đồng lưu trữ các trang demo nơi bạn có thể trò chuyện với mô hình miễn phí. Chúng tạm được để có ấn tượng ban đầu. Hãy mong đợi những giới hạn sau:
- Hàng đợi chia sẻ. Khi tải cao, bạn phải chờ hoặc trang web bị quá thời gian.
- Không ổn định. Một demo có thể biến mất, thay đổi mô hình hoặc thêm hạn chế mà không có cảnh báo.
- Không có bảo đảm về API. Ngay cả khi một demo cung cấp một endpoint, nó không dành cho một ứng dụng.
- Cách xử lý dữ liệu không rõ ràng. Đọc những gì trang web nói về việc ghi nhật ký trước khi bạn dán bất kỳ thông tin riêng tư nào.
Sử dụng demo để quyết định xem phong cách mô hình có phù hợp với bạn không. Đừng xây dựng dựa trên nó.
Tùy chọn 3: tín dụng dùng thử trên API trả tiền theo token
Lựa chọn thứ ba là API được lưu trữ kèm dùng thử miễn phí. Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API sau khi đăng nhập bằng Google hoặc bằng email và mật khẩu. Không cần thẻ, mỗi người một lần và có hiệu lực trong 7 ngày. Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút.
API tương thích với OpenAI, vì vậy bất kỳ SDK OpenAI nào cũng hoạt động sau khi bạn thay đổi URL cơ sở và khóa. ID mô hình là uncensored. Đây là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Nó chỉ hỗ trợ văn bản và giới hạn cứng là nghiêm cấm nội dung tình dục liên quan đến người chưa thành niên.
$0,50 tín dụng dùng thử mua được gì
Giá là $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Đây là phép tính cho một yêu cầu trò chuyện ngắn điển hình với 1.000 token đầu vào và 500 token đầu ra:
- Đầu vào: 1.000 / 1.000.000 x $0,15 = $0,00015
- Đầu ra: 500 / 1.000.000 x $0,50 = $0,00025
- Mỗi yêu cầu: $0.0004
- $0,50 / $0,0004 = 1.250 yêu cầu
Các cuộc trao đổi dài hơn sử dụng nhiều hơn. Một cuộc trò chuyện nơi mỗi lượt gửi lại lịch sử có thể trung bình 5.000 token đầu vào và 500 token đầu ra: $0.00075 + $0.00025 = $0.001 mỗi yêu cầu, vì vậy tín dụng dùng thử bao gồm khoảng 500 yêu cầu như vậy. Dù bằng cách nào, điều đó cũng đủ để kiểm tra các prompt, giọng điệu và gọi công cụ trong một dự án thực tế, điều mà hầu hết các demo miễn phí không thể cung cấp cho bạn.
Một cách công bằng để sử dụng nó: viết mười prompt đại diện cho mục đích sử dụng thực tế của bạn, chạy chúng một lần mỗi lần ở nhiệt độ thấp và ghi lại số lượng token trong phản hồi. Sau đó nhân với khối lượng hàng tháng dự kiến của bạn. Nếu mười prompt tốn tổng cộng $0,004, thì một nghìn mỗi tháng tốn khoảng $0,40. Phép tính đó cho bạn biết liệu gói trả phí có đáng xem xét hay không, và bạn đã làm điều đó mà không cần cung cấp thông tin thẻ. Nếu bạn hy vọng API sẽ hoạt động giống như một bản tải lên cộng đồng cụ thể, hãy kiểm tra điều đó, vì các mô hình abliterated khác nhau trả lời khác nhau.
Thử nghiệm trong hai phút
Sau khi bạn có khóa, đây là toàn bộ bài kiểm tra. Đặt URL cơ sở và mô hình, và gửi một prompt.
curl https://api.abliteratedmodelhub.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Explain what a refusal direction is in two sentences."}]}'Hoặc từ Python:
from openai import OpenAI
client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List three risks of running unvetted model weights."}],
)
print(r.choices[0].message.content)Tiêu đề phản hồi X-Balance-USD cho biết số dư còn lại sau mỗi lệnh gọi, và GET /v1/balance cũng trả về giá trị này. Trang docs liệt kê truyền phát, gọi hàm và chế độ JSON.
Các bước kiểm tra trước khi tin tưởng bản tải hoặc demo miễn phí
Miễn phí cũng có nghĩa là chưa được thẩm định. Một vài thói quen sẽ giúp bạn tránh rắc rối.
Đối với các trọng số đã tải xuống
- Ưu tiên các định dạng không thể chạy mã khi tải, chẳng hạn như safetensors hoặc GGUF, thay vì các checkpoint được pickled.
- Đọc giấy phép. Một số giấy phép trọng số mở hạn chế việc sử dụng thương mại hoặc yêu cầu ghi công, và một nhà tải lên không thể ghi đè giấy phép gốc.
- Kiểm tra mẫu trò chuyện. Một mẫu sai là lý do phổ biến nhất khiến mô hình có vẻ bị hỏng hoặc nói lan man. Thẻ mô hình thường nêu rõ mẫu đúng.
- So sánh các lượng tử hóa. Một tệp 4-bit nhỏ hơn và nhanh hơn nhưng có thể mất một số độ chính xác so với 8-bit. Hãy thử hai và giữ lại cái hoạt động tốt với các prompt của bạn.
Đối với các demo và gói miễn phí
- Giả sử các prompt có thể được ghi lại. Giữ tên, khóa và tài liệu riêng tư ra khỏi đó.
- Không gắn sản phẩm của bạn với một trang web mà bạn không kiểm soát.
- Ghi lại các prompt bạn đã thử, để bạn có thể lặp lại cùng một bài kiểm tra trên một tùy chọn khác và so sánh công bằng.
Abliteration thay đổi hành vi từ chối; nó không thêm kiến thức. Một mô hình abliterated vẫn có thể bịa đặt sự thật, và ít sự từ chối hơn có nghĩa là bạn phải chịu nhiều phán đoán hơn về những gì cần hỏi và cách sử dụng câu trả lời. Chỉ sử dụng cho người lớn hợp pháp, và không bao giờ liên quan đến người chưa thành niên.
Miễn phí so với trả tiền theo mức sử dụng: cách chọn
| Nhu cầu | Phù hợp nhất |
|---|---|
| Xem thử phong cách như thế nào | Một demo miễn phí |
| Sử dụng ngoại tuyến, kiểm soát hoàn toàn trọng số | Tải về cục bộ, nếu bạn có phần cứng |
| Kiểm thử ứng dụng với một endpoint | Tín dụng dùng thử |
| Thứ bạn phụ thuộc hàng ngày | Trả tiền theo mức sử dụng, tín dụng trả trước, không có gói đăng ký |
Khi tín dụng dùng thử hết, các khoản nạp tiền là bất kỳ số nguyên nào từ $20 đến $500, với tiền thưởng 5% từ $50, 10% từ $100 và 15% từ $200. Tín dụng không bao giờ hết hạn và bạn thanh toán bằng tiền mã hóa. Xem trang giá cả để biết chi tiết. Để có cái nhìn tổng quát hơn về các mô hình không có hạn chế, hãy đọc trang về các mô hình AI không có hạn chế của chúng tôi.
Sử dụng bất kỳ cái nào trong số này chỉ cho mục đích người lớn hợp pháp, và giữ dữ liệu cá nhân khỏi các prompt.
Hướng dẫn khác
Hỏi đáp
Có mô hình abliterated miễn phí nào tôi có thể sử dụng trực tuyến không?
Các trang demo cộng đồng tồn tại, nhưng chúng được chia sẻ, không ổn định và không dành cho ứng dụng. Tín dụng dùng thử trên một API được lưu trữ cho bạn một bài thử nghiệm ổn định hơn.
Tín dụng dùng thử cho tôi bao nhiêu?
$0,50, một mỗi người, có hiệu lực trong 7 ngày, không cần thẻ. Với 1.000 token đầu vào và 500 token đầu ra cho mỗi yêu cầu, điều đó tương đương khoảng 1.250 yêu cầu.
Tôi có thể chạy một mô hình abliterated trên laptop không?
Các mô hình lượng tử hóa nhỏ có thể chạy trên laptop với đủ RAM, nhưng chậm nếu không có GPU đủ mạnh. Hãy kiểm tra kích thước mô hình so với bộ nhớ của bạn trước.
Mô hình được lưu trữ có giống với bản tải lên abliterated trên Hugging Face không?
Không. Đó là một mô hình trọng số mở do một nhà cung cấp độc lập chạy và được tinh chỉnh để trả lời mà không từ chối nội dung. Đừng giả định rằng nó khớp với bất kỳ bản tải lên cụ thể nào.
Khóa của bạn chỉ cách một bước
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.