KO ▾
API 키 받기

Hugging Face의 Abliterated 모델과 호스팅된 API 비교

Hugging Face에서 Abliterated 모델을 검색하면 수백 개의 커뮤니티 업로드가 나옵니다. 모델을 선택하고 실행하는 것은 가능하지만, 호스팅 엔드포인트를 호출하는 것과 다른 작업입니다. 이 페이지는 개발자를 위해 두 가지를 비교합니다.

업데이트

노트북에 연결된 단일 클라우드 서버 옆에 여러 작은 모델 큐브가 있는 이미지, 다운로드된 가중치와 호스팅된 액세스 비교
여러 작은 큐브로 퍼지는 허브와 하나의 큰 큐브로 가는 직선 경로, 집계 서비스 대 전용 API

주요 포인트

  • Hugging Face는 가중치가 있는 곳입니다: 많은 업로드, 혼합된 품질, 다양한 라이선스.
  • 직접 실행하면 하드웨어 비용, 설정 시간 및 양자화 및 채팅 템플릿에 대한 주의가 필요합니다.
  • 호스팅 OpenAI 호환 엔드포인트는 모든 과정을 건너뛰며, 여기서는 1M 토큰당 $0.15 및 $0.50입니다.
  • 제어 및 오프라인 작업을 위해 가중치를 사용하고, 빠른 통합을 위해 API를 사용하세요.

abliterated models huggingface를 검색하면 거부 행동이 제거된 인기 오픈 웨이트 모델의 업로드가 다양한 크기와 형식으로 나타납니다. 일부는 완전 정밀도 가중치이고, 일부는 llama.cpp 기반 도구를 위한 양자화된 GGUF 파일이며, 일부는 추가로 병합되거나 파인튜닝된 변형입니다. 이름에는 종종 "abliterated" 또는 "uncensored"와 같은 접미사가 붙으며, 동일한 기본 모델은 서로 다른 사람으로부터 수십 개의 버전을 가질 수 있습니다.

이러한 다양성은 생태계의 장단점입니다. 하드웨어에 맞는 크기를 선택할 수 있습니다. 하지만 업로드가 설명대로 작동한다는 보장은 없으며, "abliterated"라는 용어는 편집이 얼마나 잘 되었는지 또는 얼마나 많은 기능이 손실되었는지 알려주지 않습니다. 각 모델을 테스트할 후보로 취급하십시오.

모델 카드 읽는 방법

모델 카드는 저장소에 대한 페이지입니다. 기가바이트를 다운로드하기 전에 다음 항목을 읽으세요.

  1. Base model. 원래 모델은 무엇이며 어떤 버전인가요? 당신은 그 모델의 강점, 컨텍스트 길이 및 라이선스를 물려받습니다.
  2. 방법. 작성자가 abliteration 수행 방법과 평가 내용을 설명했습니까? 침묵은 경고 신호입니다.
  3. 라이선스. 상업적 사용 조건을 확인하세요. 업로더는 기본 라이선스가 허용하지 않는 권리를 부여할 수 없습니다.
  4. 파일 형식. Safetensors 및 GGUF는 피클된 체크포인트보다 안전한 선택입니다.
  5. 채팅 템플릿. 카드 또는 토크나이저 구성은 프롬프트 형식을 보여줘야 합니다. 잘못된 템플릿은 이상하고 산만한 출력을 생성합니다.
  6. 커뮤니티 탭. broken files 또는 degraded output에 대한 보고를 위해 토론을 확인하세요.
  7. 크기 및 양자화. 파일 목록은 메모리에 맞는 파일을 알려줍니다.

가중치를 직접 실행하는 데 필요한 것

세 가지 자원이 결정합니다: 메모리, 설정 시간 및 유지 보수.

  • 메모리. 가중치의 크기는 대략 매개변수 수에 가중치당 비트 수를 곱하고 8로 나눈 값입니다. 4비트 8B 모델은 약 4GB, 4비트 70B 모델은 약 35GB입니다. 긴 컨텍스트를 위한 KV 캐시는 더 많은 용량을 추가합니다.
  • 설정. 엔진을 선택하고 파일을 다운로드한 후, 컨텍스트 크기, 템플릿 및 GPU로 오프로드할 레이어 수를 설정한 다음 테스트합니다.
  • 유지보수. 새로운 모델이 끊임없이 등장합니다. 다시 테스트하고 다시 다운로드하는 것은 일상적인 작업의 일부입니다.

GGUF 파일을 다운로드한 후 llama.cpp를 사용한 최소 로컬 서버는 다음과 같습니다:

llama-server -m ./model-Q4_K_M.gguf -c 8192 --port 8080

자신의 머신에서 OpenAI 방식 API를 제공합니다. 이는 실험에 잘 작동합니다. 하지만 메모리를 절약하기 위해 많은 소비자 환경에서 사용하는 8,192 토큰의 컨텍스트는 이 사이트의 호스팅 API가 제공하는 100,000 토큰보다 훨씬 작습니다.

비교를 위한 호스팅된 액세스

호스팅된 엔드포인트는 다운로드, GPU 및 템플릿 설정을 건너뜁니다. 이것은 OpenAI와 호환되는 API입니다: 기본 URL과 키를 변경한 후 모든 OpenAI SDK가 작동합니다.

  • Base URL: https://api.abliteratedmodelhub.com/v1
  • 모델 ID: uncensored
  • 인증: Authorization: Bearer YOUR_KEY
  • 엔드포인트: POST /v1/chat/completions, POST /v1/responses 및 GET /v1/models
from openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodelhub.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize what a GGUF file is in two sentences."}],
)
print(resp.choices[0].message.content)

이것이 무엇인지 명확히 하세요. 이것은 독립적인 제공자가 실행하고 합법적인 성인 사용을 위해 콘텐츠 거부 없이 답변하도록 조정된 단일 오픈 웨이트 모델입니다. 특정 Hugging Face 업로드가 아니며, 가중치를 선택하거나 교체할 수 없습니다. 텍스트 전용입니다: 이미지, 오디오, 임베딩 또는 파인튜닝이 없습니다.

비교

Hugging Face 가중치, 자체 실행호스팅 API
모델 선택수백 가지 변형ID가 uncensored인 단일 모델
하드웨어사용자가 제공해야 합니다없음
비용하드웨어 및 전력 요금입력 1M당 $0.15, 출력 1M당 $0.50
컨텍스트메모리에 의해 제한됨100,000 토큰
기능엔진 및 모델에 따라 다름스트리밍, 도구 호출, JSON 모드
동시 요청데스크톱에서는 일반적으로 한 번에 하나의 요청이 처리됩니다전체 키 기준 동시 8개 요청
오프라인예아니요
가중치에 대한 제어전체없음
설정 시간시간에서 일분

자체 호스팅은 열등한 옵션이 아닙니다. 가중치를 검사, 병합 또는 파인튜닝해야 하거나 네트워크 없이 실행해야 한다면 유일한 옵션입니다. 오늘 애플리케이션에 모델을 통합하고 싶다면 호스팅된 API가 올바른 도구입니다.

아마도 겪게 될 문제들

모델이 장황하게 말하거나 반복합니다

일반적으로 채팅 템플릿이 잘못되었거나 정지 토큰이 누락되었습니다. 카드에 명시된 템플릿을 사용하고 엔진이 파일에서 읽지 않는 경우 정지 시퀀스를 설정하세요.

출력이 기본 모델보다 나쁩니다

Abliteration은 가중치를 수정하며, 강한 수정은 추론 품질의 일부를 손실시킬 수 있습니다. 추가로 4비트로 양자화하면 더 많은 손실이 발생할 수 있습니다. 방법을 탓하기 전에 동일한 모델의 더 높은 정밀도 파일을 시도해 보세요.

메모리 부족

컨텍스트 크기를 낮추고, 더 작은 양자화를 선택하거나 GPU로 오프로드할 레이어를 줄이세요. KV 캐시는 컨텍스트와 함께 증가하므로, 로드되는 모델이라도 긴 프롬프트에서 실패할 수 있습니다.

여전히 가끔 거부합니다

Abliteration은 거부를 줄이지만 거부 0을 보장하지는 않습니다. 작업의 정당한 컨텍스트를 명시하는 시스템 프롬프트는 종종 도움이 됩니다. 이것은 호스팅된 모델이든 로컬 모델이든 모든 모델에 해당됩니다.

도구 호출이 작동하지 않습니다

모든 업로드가 이를 위해 훈련된 것은 아니며, 모든 엔진이 모든 템플릿에 대해 이를 구현하는 것은 아닙니다. 에이전트를 설계하기 전에 간단한 함수 호출을 테스트하십시오. 호스팅 API는 tools, tool_choice, 스트리밍 tool_calls 및 JSON 모드를 지원하므로, 자신의 프롬프트와 스키마가 어떻게 작동하는지 확인하는 빠른 방법입니다.

합리적인 워크플로우

많은 개발자가 둘 다 사용합니다. Hugging Face에서 몇 가지 업로드를 시도하여 선호하는 출력 스타일을 확인해 보세요. 당신에게 중요한 프롬프트에 대한 메모를 남겨 두세요. 그런 다음 무료 체험 크레딧을 사용하여 동일한 프롬프트를 API로 테스트해 보세요: $0.50, API 키 페이지에서 가입 후 한 번의 클릭으로 청구하며, 카드가 필요하지 않고 7일 동안 유효합니다. 호스팅된 모델이 애플리케이션에 충분하다면 하드웨어 문제를 피할 수 있습니다. 그렇지 않다면 가중치에서 찾아야 할 항목의 목록이 생깁니다.

best abliterated model for coding 페이지는 코드 관련 기준을 다루며, abliterated models on OpenRouter 페이지는 호스팅 접근 방식을 얻는 또 다른 방법을 살펴봅니다. 전체 매개변수 및 제한 사항은 docs에 있습니다.

엔드포인트만 원하는 개발자를 위한 비용

앱이 월간 2000만 입력 토큰과 400만 출력 토큰을 보낸다고 가정합니다. 청구서는 20 x $0.15 = $3.00 + 4 x $0.50 = $2.00이므로 $5.00입니다. 이러한 수준의 사용량에서는 GPU 구매가 정당화되지 않습니다. 반면, 특정 업로드된 모델이 필요하거나 몇 달 동안 끊임없이 트래픽을 보내는 앱은 자체 머신을 정당화할 수 있습니다. pricing에서 $20부터 $500까지의 충전 금액과 대량 충전 시 보너스를 확인하십시오. 크레딧은 만료되지 않으며, 실패하거나 거부된 요청에는 요금이 부과되지 않습니다.

호스팅 API로 전송된 프롬프트는 학습에 사용되지 않습니다. 이 옵션들은 모두 합법적인 성인 용도로만 사용하고, 미성년자를 포함한 성적인 콘텐츠에는 절대 사용하지 마십시오.

질문과 답변

Hugging Face에서 Abliterated 모델을 어떻게 찾나요?

모델 허브에서 'abliterated'라는 단어와 기본 모델 이름을 함께 검색한 후 각 모델 카드를 읽으십시오. 다운로드하기 전에 라이선스, 형식 및 채팅 템플릿을 확인하십시오.

Hugging Face의 abliterated 모델은 다운로드해도 안전한가요?

자신의 방법을 문서화한 업로더의 safetensors 또는 GGUF 파일을 선호하고 커뮤니티 토론을 읽으십시오. 알려지지 않은 소스의 pickled 체크포인트는 피하십시오.

이 API를 통해 Hugging Face Abliterated 모델을 사용할 수 있나요?

아니요. API는 ID가 uncensored인 단일 고정 오픈 웨이트 모델을 제공합니다. 가중치를 업로드하거나 선택할 수 없습니다.

호스팅 경로가 내 모델을 직접 실행하는 것보다 저렴합니까?

저사용량 또는 중등도 사용량에서는 일반적으로 예, 구매할 하드웨어가 없기 때문입니다. 지속적인 고부하에서는 자체 실행이 더 저렴할 수 있습니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기