Mô hình Ablivered trên Hugging Face so với truy cập lưu trữ
Tìm kiếm các mô hình đã loại bỏ kiểm duyệt trên Hugging Face trả về hàng trăm bản tải lên của cộng đồng. Việc chọn một mô hình và chạy nó là khả thi, nhưng đó là một công việc khác với việc gọi một endpoint được lưu trữ. Trang này so sánh hai phương pháp cho các nhà phát triển.


Điểm chính
- Hugging Face là nơi lưu trữ trọng số: nhiều bản tải lên, chất lượng hỗn hợp, giấy phép đa dạng.
- Tự chạy chúng tốn phần cứng, thời gian thiết lập và sự chú ý đến việc lượng tử hóa và mẫu trò chuyện.
- Một endpoint tương thích OpenAI được lưu trữ bỏ qua tất cả những điều đó, với giá $0,15 và $0,50 cho mỗi 1 triệu token.
- Bạn hãy sử dụng trọng số để kiểm soát và làm việc ngoại tuyến; hãy sử dụng API để tích hợp nhanh.
Những gì bạn tìm thấy khi tìm kiếm
Tìm kiếm các mô hình đã loại bỏ kiểm duyệt trên Hugging Face mang lại kết quả là các bản tải lên của các mô hình trọng số mở phổ biến với hành vi từ chối đã được loại bỏ, ở nhiều kích thước và định dạng khác nhau. Một số là trọng số chính xác đầy đủ, một số là các tệp GGUF đã được lượng tử hóa cho các công cụ dựa trên llama.cpp, một số là các biến thể được hợp nhất hoặc tinh chỉnh thêm. Tên thường có hậu tố như "abliterated" hoặc "uncensored", và cùng một mô hình cơ sở có thể có hàng chục phiên bản từ những người khác nhau.
Sự đa dạng đó là mặt tốt và mặt xấu của hệ sinh thái. Bạn có thể chọn kích thước phù hợp với phần cứng của mình. Nhưng không ai đảm bảo rằng một bản tải lên hoạt động như mô tả, và thuật ngữ "ablivered" không cho bạn biết mức độ hiệu quả của việc chỉnh sửa hoặc mức độ mất khả năng. Bạn hãy coi mỗi mô hình là một ứng viên để kiểm tra.
Cách đọc thẻ mô hình
Thẻ mô hình là trang hiển thị khi bạn mở một kho lưu trữ. Hãy đọc các mục này trước khi tải xuống hàng gigabyte.
- Mô hình gốc. Nó được tạo từ mô hình gốc nào và phiên bản nào? Bạn thừa hưởng các điểm mạnh, độ dài ngữ cảnh và giấy phép của nó.
- Phương pháp. Tác giả có giải thích cách thực hiện abliteration và những gì đã được đánh giá không? Sự im lặng là dấu hiệu cảnh báo.
- Giấy phép. Bạn hãy kiểm tra các điều khoản sử dụng thương mại. Người tải lên không thể cấp quyền mà giấy phép gốc không có.
- Định dạng tệp. Safetensors và GGUF là những lựa chọn an toàn hơn so với các điểm kiểm tra được pickled.
- Mẫu trò chuyện. Thẻ hoặc cấu hình tokenizer nên hiển thị định dạng prompt. Một mẫu sai sẽ cho đầu ra kỳ lạ, lan man.
- Tab cộng đồng. Hãy xem các cuộc thảo luận để tìm báo cáo về các tệp bị hỏng hoặc chất lượng đầu ra suy giảm.
- Kích thước và lượng tử hóa. Danh sách các tệp cho bạn biết những gì phù hợp với bộ nhớ của bạn.
Yêu cầu hệ thống để tự chạy trọng số
Ba nguồn lực quyết định điều đó: bộ nhớ, thời gian thiết lập và bảo trì.
- Bộ nhớ. Trọng số chiếm khoảng số tham số nhân với số bit trên mỗi trọng số chia cho tám. Mô hình 8B ở mức 4-bit chiếm khoảng 4 GB, mô hình 70B ở mức 4-bit chiếm khoảng 35 GB. Bộ nhớ đệm KV cho ngữ cảnh dài sẽ thêm vào dung lượng.
- Thiết lập. Chọn một công cụ, tải xuống một tệp, đặt kích thước ngữ cảnh, mẫu và số lớp được tải lên GPU, sau đó kiểm thử.
- Bảo trì. Các mô hình mới xuất hiện liên tục. Việc kiểm tra lại và tải xuống lại là một phần của quy trình thông thường.
Máy chủ cục bộ tối thiểu với llama.cpp trông như thế này, sau khi bạn đã tải xuống tệp GGUF:
llama-server -m ./model-Q4_K_M.gguf -c 8192 --port 8080Nó cung cấp một API kiểu OpenAI trên máy của bạn. Điều đó hoạt động rất tốt cho các thí nghiệm. Nhưng một cửa sổ ngữ cảnh 8.192 token, mà nhiều thiết lập dành cho người dùng phổ thông sử dụng để tiết kiệm bộ nhớ, nhỏ hơn nhiều so với 100.000 token do API được lưu trữ trên trang web này cung cấp.
Truy cập được lưu trữ so sánh
Một endpoint được lưu trữ bỏ qua việc tải xuống, GPU và mẫu. Đó là một API tương thích OpenAI: bất kỳ SDK OpenAI nào cũng hoạt động sau khi bạn thay đổi URL cơ sở và khóa.
- URL cơ sở:
https://api.abliteratedmodelhub.com/v1 - ID mô hình:
uncensored - Xác thực:
Authorization: Bearer YOUR_KEY - Các endpoint:
POST /v1/chat/completions,POST /v1/responsesvàGET /v1/models
from openai import OpenAI
client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize what a GGUF file is in two sentences."}],
)
print(resp.choices[0].message.content)Bạn hãy rõ ràng về những gì đây là. Đó là một mô hình trọng số mở do một nhà cung cấp độc lập chạy và được tinh chỉnh để trả lời mà không có từ chối nội dung cho việc sử dụng người lớn hợp pháp. Đó không phải là một bản tải lên Hugging Face cụ thể, và bạn không thể chọn hoặc thay đổi trọng số. Nó chỉ là văn bản: không có hình ảnh, âm thanh, embedding hoặc tinh chỉnh.
So sánh trực tiếp
| Trọng số Hugging Face, tự chạy | API lưu trữ | |
|---|---|---|
| Lựa chọn mô hình | Hàng trăm biến thể | Một mô hình, ID uncensored |
| Phần cứng | Bạn cung cấp | Không |
| Chi phí | Phần cứng và điện | $0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra |
| Ngữ cảnh | Giới hạn bởi bộ nhớ của bạn | 100,000 token |
| Tính năng | Phụ thuộc vào công cụ và mô hình của bạn | Truyền phát, gọi hàm, chế độ JSON |
| Yêu cầu đồng thời | Thường là một yêu cầu cùng lúc trên máy tính để bàn | 8 yêu cầu đồng thời trên khóa đầy đủ |
| Ngoại tuyến | Có | Không |
| Kiểm soát trọng số | Đầy đủ | Không |
| Thời gian thiết lập | Vài giờ đến vài ngày | Vài phút |
Tự lưu trữ không phải là tùy chọn kém hơn. Nếu bạn cần kiểm tra, hợp nhất hoặc tinh chỉnh trọng số, hoặc chạy không có mạng, đó là tùy chọn duy nhất. API được lưu trữ là công cụ phù hợp khi bạn muốn tích hợp một mô hình vào ứng dụng ngay hôm nay.
Các vấn đề bạn có thể gặp phải
Mô hình nói lan man hoặc lặp lại chính nó
Thường là mẫu trò chuyện sai hoặc thiếu các token dừng. Bạn hãy sử dụng mẫu được đặt tên trên thẻ và đặt một chuỗi dừng nếu công cụ không đọc nó từ tệp.
Đầu ra kém hơn mô hình gốc
Abliteration chỉnh sửa trọng số, và các chỉnh sửa nặng có thể làm mất một số chất lượng suy luận. Lượng tử hóa xuống 4-bit bổ sung có thể thêm nhiều tổn thất hơn. Bạn hãy thử một tệp có độ chính xác cao hơn của cùng một mô hình trước khi đổ lỗi cho phương pháp.
Hết bộ nhớ
Bạn hãy giảm kích thước ngữ cảnh, chọn lượng tử hóa nhỏ hơn hoặc tải ít lớp hơn lên GPU. Bộ đệm KV phát triển với ngữ cảnh, vì vậy một mô hình tải thành công có thể thất bại trên một prompt dài.
Nó vẫn từ chối đôi khi
Abliteration giảm từ chối; nó không đảm bảo bằng không. Một prompt hệ thống nêu rõ ngữ cảnh hợp pháp của nhiệm vụ thường giúp ích. Điều tương tự cũng đúng với bất kỳ mô hình nào, được lưu trữ hoặc cục bộ.
Gọi hàm không hoạt động
Không phải mọi bản tải lên đều được huấn luyện cho tính năng này, và không phải mọi công cụ nào cũng triển khai nó cho mọi mẫu. Hãy thử một lệnh gọi hàm đơn giản trước khi bạn thiết kế một agent xung quanh nó. API được lưu trữ hỗ trợ tools, tool_choice, truyền phát (streaming) tool_calls và chế độ JSON, vì vậy đây là cách nhanh chóng để kiểm tra cách prompt và lược đồ của bạn hoạt động.
Quy trình hợp lý
Nhiều nhà phát triển sử dụng cả hai. Hãy bắt đầu bằng cách thử một vài bản tải lên từ Hugging Face để xem phong cách đầu ra nào phù hợp với bạn. Hãy ghi chú lại các prompt quan trọng đối với bạn. Sau đó, kiểm tra cùng các prompt đó với API bằng cách sử dụng tín dụng dùng thử miễn phí: $0,50, được nhận chỉ bằng một cú nhấp chuột trên trang khóa API sau khi đăng ký, không cần thẻ, có hiệu lực trong 7 ngày. Nếu mô hình được lưu trữ đủ tốt cho ứng dụng của bạn, bạn sẽ tránh được toàn bộ vấn đề phần cứng. Nếu không, bạn sẽ có danh sách những gì cần tìm trong các trọng số.
Trang mô hình loại bỏ kiểm duyệt tốt nhất cho lập trình bao gồm các tiêu chí cụ thể cho mã, và trang về các mô hình loại bỏ kiểm duyệt trên OpenRouter xem xét một cách khác để truy cập được lưu trữ. Các thông số và giới hạn đầy đủ có trong tài liệu.
Chi phí cho một nhà phát triển chỉ muốn một endpoint
Giả sử một ứng dụng gửi 20 triệu token đầu vào và 4 triệu token đầu ra mỗi tháng. Hóa đơn là 20 x $0,15 = $3,00 cộng với 4 x $0,50 = $2,00, vậy $5,00. Chi tiêu như vậy không đủ để biện minh cho việc mua một GPU. Ở đầu kia, một ứng dụng cần một mô hình được tải lên cụ thể, hoặc gửi lưu lượng truy cập suốt ngày đêm trong nhiều tháng, có thể biện minh cho việc sử dụng máy chủ riêng. Xem giá cả để biết số tiền nạp từ $20 đến $500 và các khoản bonus cho các gói lớn hơn. Tín dụng không bao giờ hết hạn, và các yêu cầu bị lỗi hoặc bị từ chối sẽ không bị tính phí.
Các prompt gửi đến API được lưu trữ không được sử dụng để huấn luyện. Sử dụng bất kỳ tùy chọn nào trong số này chỉ cho mục đích người trưởng thành hợp pháp, và không bao giờ cho nội dung tình dục liên quan đến người chưa thành niên.
Hướng dẫn khác
Hỏi đáp
Tôi tìm các mô hình abliterated trên Hugging Face ở đâu?
Tìm kiếm trên trung tâm mô hình với từ "abliterated" cùng với tên mô hình cơ sở, sau đó đọc từng thẻ mô hình. Kiểm tra giấy phép, định dạng và mẫu trò chuyện trước khi tải xuống.
Các mô hình abliterated trên Hugging Face có an toàn để tải xuống không?
Ưu tiên các tệp safetensors hoặc GGUF từ những người tải lên ghi chép phương pháp của họ, và đọc các thảo luận của cộng đồng. Tránh các điểm kiểm tra được pickled từ các nguồn không rõ ràng.
Tôi có thể sử dụng mô hình abliterated của Hugging Face thông qua API này không?
Không. API phục vụ một mô hình trọng số mở cố định với ID là uncensored. Bạn không thể tải lên hoặc chọn trọng số.
Đường dẫn được lưu trữ có rẻ hơn việc tự chạy mô hình không?
Ở khối lượng thấp hoặc vừa phải, thường là có, vì không cần mua phần cứng. Ở tải trọng cao liên tục, việc tự chạy có thể rẻ hơn.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.