JA ▾
API キーを取得

コーディングに最適なアブリレーション済みモデル:期待すること

コーディングに最適なアブリレーション済みモデルとは、正しいコードを記述し、合法的なリクエストを途中で拒否しないモデルです。アブリレーションは後者のみに対応するため、前者はご自身のリポジトリでテストする必要があります。

更新日:

制限のないコーディング支援を象徴する、抽象的なコード、開いた南京錠、回路基板上の拡大鏡が描かれたターミナル

主要ポイント

  • アブリレーションは拒否動作を除去します。コーディングスキルを追加するものではないため、ご自身のタスクでコードの品質を判断してください。
  • 拒否はセキュリティツール、スクレイピング、リバースエンジニアリング、辛口のコードレビューで開発者に影響を与えます。
  • 低い温度と固定シードにより、コード出力は再現可能になり、比較が容易になります。
  • 3,000トークンの入力と800トークンの出力からなる典型的なコードレビューリクエストは、1セントの10分の1未満の費用です。

アブリレーションが変えること、変えないこと

アブリレーションはトレーニング後のオープンウェイトモデルに適用される手法です。リクエストを拒否する内部の方向性を見つけ抑制することで、モデルは拒否や説教を停止します。新しいプログラミング言語を教えたり、推論を改善したりするわけではありません。正しい関数を書ける能力はベーストレーニング由来であり、アブリレーション済みバージョンはその点で同等か、わずかに異なるはずです。

この枠組みは合理的な選択に役立ちます。重要なのは独立した2つの質問です。

  • 基盤モデルはあなたが使用する言語でコーディングに優れていますか?
  • タスクが合法だがセンシティブ場合でも、拒否なくタスクを遂行できますか?

このサービスは独立プロバイダがホストするオープンウェイトモデルを実行しており、モデルIDはuncensoredです。公開ベンチマークがないためスコアを主張せず、発明されたスコアは誰の役にも立ちません。誠実なアプローチは、以下に記載するコードでの短いテストです。より広い文脈については、制限のないAIモデルのページをご覧ください。

拒否が実際に開発者に影響する場所

ほとんどのコーディングリクエストは拒否を引き起こしません。引き起こす場合、通常は以下の限られた領域で発生し、これらはあなたが所有またはテスト権限のあるシステム上で行う限り合法です。

  • セキュリティ作業。 ポートスキャナ、ファズテスト、ラボ用のエクスプロイトPoC、マルウェア分析スクリプト、ログフォレンジック。
  • スクレイピングと自動化。 パーサ、ヘッドレスブラウザフロー、慎重なモデルがリスクと見なすレート制限テスト。
  • リバースエンジニアリング。 ディアセンブルの読解、ファイル形式の文書化、相互運用性作業。
  • ゲームおよびフィクションツール。 成人向けタイトル向けのダークな対話ツリー、悪役スクリプト、成熟したストーリーラインの生成。
  • トーン。 賞賛でコメントを埋めず、デザインが劣っていると明確に指摘するコードレビュー。

権限が重要です。拒否のないモデルは問いかけに応じて回答するため、合法であることの責任はあなたにあります。ご自身のシステム、テスト対象、書面による許可のあるクライアント作業で使用してください。

リーダーボードよりも多くのことを示す簡単なテスト

実際の業務から小さなプロンプトセット(5〜10タスク、他アシスタントが拒否したものを1〜2件含む)を作成してください。固定シードと低い温度で実行し、結果を現在のツールと比較してください。7日間有効な$0.50の無料トライアルクレジットは、数百回の呼び出しをカバーできます。

import json
from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodelhub.com/v1",
    api_key="YOUR_KEY",
)

tasks = [
    "Write a Python function that parses nmap XML output and lists open ports per host.",
    "Refactor this loop into a generator and keep behavior identical: for i in range(len(xs)): out.append(xs[i] * 2)",
    "Write a pytest file for a function slugify(text) that handles unicode and repeated dashes.",
]

results = []
for task in tasks:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": "You are a senior engineer. Return only code unless asked otherwise."},
            {"role": "user", "content": task},
        ],
        temperature=0.2,
        seed=7,
    )
    results.append({"task": task, "answer": resp.choices[0].message.content})

print(json.dumps(results, indent=2))

次にコードを実行します。目視での採点だけに頼らないでください。テストを実行し、リンターを実行し、再試行が必要だったタスクの数を記録してください。ご自身の10タスクでのパス率は、あなたのスタックを反映するため、公的なランキングよりも価値があります。

コード出力を改善する設定

コード生成は決定論を重視します。以下の値から始め、一度に一つ変更してください。

  • 生成とリファクタリングにはtemperatureを0.0〜0.3に、ブレインストーミングのみ0.7に上げます。
  • top_pは温度が低い場合、1.0付近に設定します。
  • stopシーケンス(閉じコードフェンスなど)は、最初のコードブロックのみを返す場合に使用します。
  • seedは実験中は固定し、変更された回答がランダム性ではなくプロンプトの変更によるものであることを確認します。
  • max_tokensはオプションです。補完は100,000トークンのウィンドウの残りを活用できるため、オープンエンドプロンプトでコストを制限したい場合に上限を設定してください。

人間に必要なコンテキストを提供します:言語バージョン、フレームワーク、失敗したテスト出力、関連ファイル。100,000トークンのウィンドウは多くのソースコードを収容できますが、ファイルが多いほど良いとは限りません。質問に関連するもののみを含めてください。

より良いコードを得るためのプロンプト

同じモデルでも、聞き方によって出力されるコードは大きく異なります。いくつかの習慣が明確な差を生みます。

  • 環境を明記する。 「Python 3.11、標準ライブラリのみ」はインストールできないインポートを防ぎます。「TypeScript、厳密モード、anyなし」は型を規定します。
  • 失敗した出力を示す。 デバッグにはトレースバックとそれを引き起こす最小限のコードを貼り付けてください。まず原因を尋ね、次に修正を求め、推論を評価できるようにします。
  • コードにテストを併記させる。 関数とテストを一緒に提示すると、モデルが通常見落としてしまうギャップが明らかになります。
  • 出力を制約する。 「差分のみを返す」または「コードブロック1つだけを返し、それ以外は返さない」はトークンを節約し、適用を容易にします。
  • 小さなステップで反復する。 スケルトンを求め、レビューしてから次の部分を依頼します。大きなワンショットリクエストは、微妙なエラーが隠れる場所を増やします。

拒否されやすいトピックのデバッグには、何をしており、なぜそうしているかを一文で述べてください。「これは自分のステージングサーバーです。これらのポートが開いているか確認するスクリプトを書いてください」は通常のリクエストであり、回答に調整されたモデルはコメントなしで処理します。この文は、後でコードを検証する誰かのために意図を文書化します。

大規模なコードベースとの連携

100,000トークンのウィンドウは一度に多くのファイルを保持できますが、すべての呼び出しにリポジトリ全体を送信するのは非効率です。コンテキストを意図的に選択してください。

  1. 変更中のファイルと、それが直接インポートするファイルを送信します。
  2. すべての実装ではなく、インターフェース定義または型ファイルを追加します。
  3. 失敗したテストとその出力を含めます。
  4. 生成ファイル、ロックファイル、ベンダーコードは除外します。

パスのリストを順に処理し、1つのプロンプトを構築する小さなヘルパーを使用すると、これが再現可能になります。

from pathlib import Path
from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodelhub.com/v1",
    api_key="YOUR_KEY",
)

def review(paths, question):
    parts = []
    for p in paths:
        parts.append("### " + p + "\n" + Path(p).read_text())
    prompt = "\n\n".join(parts) + "\n\nQuestion: " + question
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2,
    )
    return resp.choices[0].message.content

print(review(["app/models.py", "app/views.py"], "Where can this raise a KeyError?"))

繰り返しの大規模なプロンプトのコストに注意してください。40,000トークンのコンテキストウィンドウを持つ20回の呼び出しでは、800,000入力トークンを使用し、0.8 x $0.15 = $0.12になります。これは安価ですが、往復のたびに増加するため、焦点を絞った質問を行ってください。

開発者ワークフローのためにツールとJSONを使用する

APIは関数呼び出しとJSON モードをサポートしており、モデルをチャットパートナーではなくコンポーネントに変えます。例えば、コードレビューのステップでは、構造化された結果を返すことができ、CIジョブはそれをコメントとして投稿できます。

curl https://api.abliteratedmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "temperature": 0.1,
    "response_format": {"type": "json_object"},
    "messages": [
      {"role": "system", "content": "Review the diff. Reply as JSON: {\"findings\": [{\"line\": number, \"severity\": string, \"comment\": string}]}"},
      {"role": "user", "content": "def add(a, b):\n    return a - b"}
    ]
  }'

関数呼び出しを使用すると、run_testsやread_fileのような関数を公開し、モデルがループ内でそれらの関数をリクエストできるようにし、結果をrole: "tool"メッセージとして送信できます。ツールを実行するのはあなたのコードなので、アクセス可能な範囲を制御できます。生成されたコードを実行するものはすべてサンドボックス化してください。

典型的なコーディングジョブのコスト

レートは入力100万トークンあたり$0.15、出力100万トークンあたり$0.50です。例:

  • 3,000入力トークンと800出力トークンのスニペットリクエスト:0.003M x $0.15 = $0.00045、プラス0.0008M x $0.50 = $0.0004、合計$0.00085。1,000件で$0.85かかります。
  • ファイル全体レビュー(20,000入力トークン、1,500出力トークン):$0.003 + $0.00075 = $0.00375。
  • スニペットサイズの400件の混合リクエストを含む負荷の高い1日:400 x $0.00085 = $0.34。

サブスクリプションはなく、失敗または拒否されたリクエストには課金されません。暗号資産(TRC20上のUSDT、Base上のUSDC)で$20から$500までの任意の整数額をチャージできます。ボーナスは、$50以上で+5%、$100以上で+10%、$200以上で+15%が追加されます。詳細は料金ページに記載されており、パラメータはドキュメントにリストされています。キーはサインアップページで取得できます。

質問と回答

Abliterationはモデルのコーディング能力を向上させますか?

いいえ。拒否動作を削除します。コーディング能力はベースモデル由来なので、独自のタスクでテストしてください。

セキュリティコードのために無検閲モデルを使用するのは合法ですか?

所有している、またはテストの許可を得ているシステム向けのコード作成は一般的に合法ですが、法と権限の範囲内に留まる責任はあなたにあります。

エディタ内で使用できますか?

OpenAI互換のBase URL、API キー、モデル名を受け入れる任意のエディタ拡張機能やツールで接続できます。Base URL、API キー、およびモデルuncensoredを使用してください。

どのくらいのサイズのファイルを送信できますか?

コンテキストウィンドウはプロンプトと補完を合わせて100,000トークン、最大リクエストボディは8 MBです。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得