中文 ▾
获取 API 密钥

用于编程的最佳去审查模型:预期效果

用于编程的最佳去审查模型是那些能写出正确代码且不会在半途拒绝你合法请求的模型。去审查仅处理第二部分,因此你需要在自己的代码库中测试第一部分。

更新于

终端显示抽象代码,挂锁打开,放大镜置于电路板上,用于无限制编程辅助

要点

  • 去审查移除拒绝行为。它不增加编程技能,因此请根据你的任务评估代码质量。
  • 拒绝行为在安全工具、爬取、逆向工程和直白的代码审查中影响开发者。
  • 低温度和固定种子使代码输出可重复且易于比较。
  • 一次典型的代码审查请求包含 3,000 个输入 token 和 800 个输出 token,费用不到 $0.001。

Abliteration 改变了什么,以及它保留什么

Abliteration 是一种应用于训练后开放权重模型的技术。它找到与拒绝请求相关的内部方向并抑制它,从而使模型不再拒绝和说教。它不会教模型新的编程语言,也不会修复糟糕的推理能力。模型编写正确函数的能力来自其基础训练,而经过 Abliteration 的版本在这方面应该同样好,或者略有不同。

这种框架有助于你明智地选择。两个问题很重要,且相互独立:

  • 基础模型在你使用的语言中擅长代码吗?
  • 在任务合法但敏感时,它能否在不拒绝的情况下完成任务?

该服务由独立提供商托管一个开放权重模型,模型 ID 为 uncensored。我不会为其声称基准分数,因为此处未发布任何分数,且虚构的分数对任何人都没有帮助。诚实的路径是在你的代码上进行简短测试,如下所述。更广泛的背景信息见关于无限制 AI 模型的页面。

拒绝行为实际影响开发者的地方

大多数编程请求永远不会触发拒绝。当它们触发时,通常是在一小部分领域,所有这些领域在为你拥有或获授权测试的系统上执行时都是合法的:

  • 安全领域。 用于你自己的实验室的端口扫描器、模糊测试工具、漏洞概念验证、恶意软件分析脚本和日志取证。
  • 爬取和自动化。 解析器、无头浏览器流程和谨慎模型标记为高风险的速率限制测试。
  • 逆向工程。 阅读反汇编、记录文件格式、互操作性工作。
  • 游戏和小说工具。 生成黑暗对话树、反派脚本或面向成人的游戏的成熟剧情。
  • 语气。直截了当地指出设计糟糕的代码审查,不在每条评论中都加上赞美。

授权很重要。没有拒绝的模型会回答你问的任何问题,因此保持合法的责任在于你。在你自己的系统、测试目标和获得书面许可的客户工作中使用它。

比排行榜提供更多信息的快速测试

从你的实际工作中构建一组提示词:五到十个任务,包括一个或两个其他助手拒绝的任务。使用固定种子和低温度运行它们,并将结果与你当前的工具进行比较。$0.50的免费试用额度,有效期 7 天,足以覆盖数百次此类调用。

import json
from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodelhub.com/v1",
    api_key="YOUR_KEY",
)

tasks = [
    "Write a Python function that parses nmap XML output and lists open ports per host.",
    "Refactor this loop into a generator and keep behavior identical: for i in range(len(xs)): out.append(xs[i] * 2)",
    "Write a pytest file for a function slugify(text) that handles unicode and repeated dashes.",
]

results = []
for task in tasks:
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": "You are a senior engineer. Return only code unless asked otherwise."},
            {"role": "user", "content": task},
        ],
        temperature=0.2,
        seed=7,
    )
    results.append({"task": task, "answer": resp.choices[0].message.content})

print(json.dumps(results, indent=2))

然后运行代码。不要仅通过阅读来评分。执行测试,运行 linter,并记录需要第二次尝试的任务数量。在你自己的十个任务上的通过率比任何公开排名都更有价值,因为它反映了你的技术栈。

有助于代码输出的设置

代码生成青睐确定性。从这些值开始,一次更改一个:

  • temperature 0.0 到 0.3 用于生成和重构。仅在头脑风暴方法时将其提高到 0.7。
  • top_p 在温度较低时保持在接近 1.0。
  • stop 序列,如关闭的代码围栏,如果你只想要第一个代码块。
  • seed 在实验期间固定,以便更改的提示词而非随机性解释更改的答案。
  • max_tokens 是可选的。补全可以使用 100,000 token 窗口的剩余部分,因此如果你想在开放式提示词中限制成本,请设置上限。

给模型人类所需的上下文:语言版本、框架、失败的测试输出和相关文件。100,000 token 的窗口为大量源代码留下了空间,但更多文件并不总是更好。包含与问题相关的内容。

获取更好代码的提示词

相同的模型会根据你的提问方式给出非常不同的代码。一些习惯可以产生明显的差异。

  • 声明环境。 "Python 3.11,仅限标准库" 防止你无法安装的导入。"TypeScript,严格模式,无 any" 塑造类型。
  • 显示失败的输出。 对于调试,粘贴 traceback(堆栈跟踪)和触发它的最小代码。先询问原因,再询问修复,以便你评估推理。
  • 要求代码附带测试。 函数及其测试共同暴露模型通常会忽略的缺漏。
  • 约束输出。 "仅返回unified diff" 或 "返回一个代码块且无其他内容" 节省 token 并使答案易于应用。
  • 分小步迭代。 请求骨架,审查它,然后请求下一部分。大型一次性请求为细微错误提供了更多隐藏的地方。

对于调试容易拒绝的主题,用一句话说明你在做什么以及为什么。"这是我的预发布(staging)服务器;编写一个脚本检查哪些端口是开放的" 是一个正常请求,经过调整以回答的模型会处理它而不加评论。该陈述还为任何稍后审查代码的人记录你的意图。

处理更大的代码库

100,000 token 的窗口可以同时容纳许多文件,但在每次调用中发送整个仓库是浪费的。故意选择上下文:

  1. 发送正在更改的文件及其直接导入的文件。
  2. 添加接口定义或类型文件,而不是所有内容的完整实现。
  3. 包括失败的测试及其输出。
  4. 排除生成的文件、锁文件和第三方依赖(vendored)代码。

一个小型辅助程序遍历路径列表并构建一个提示词,使此操作可重复:

from pathlib import Path
from openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodelhub.com/v1",
    api_key="YOUR_KEY",
)

def review(paths, question):
    parts = []
    for p in paths:
        parts.append("### " + p + "\n" + Path(p).read_text())
    prompt = "\n\n".join(parts) + "\n\nQuestion: " + question
    resp = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2,
    )
    return resp.choices[0].message.content

print(review(["app/models.py", "app/views.py"], "Where can this raise a KeyError?"))

关注重复大提示词的成本。二十次调用,每次上下文为 40,000 token,将消耗 800,000 个输入 token,即 0.8 x $0.15 = $0.12。这很便宜,但会随着每一轮来回交互而增长,因此请提出聚焦的问题。

在开发者工作流中使用工具和 JSON

API 支持函数调用和 JSON 模式,将模型转变为组件而非聊天伙伴。例如,代码审查步骤可以返回结构化结果,CI 作业可以将其作为评论发布。

curl https://api.abliteratedmodelhub.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "temperature": 0.1,
    "response_format": {"type": "json_object"},
    "messages": [
      {"role": "system", "content": "Review the diff. Reply as JSON: {\"findings\": [{\"line\": number, \"severity\": string, \"comment\": string}]}"},
      {"role": "user", "content": "def add(a, b):\n    return a - b"}
    ]
  }'

通过函数调用,你可以暴露 run_tests 或 read_file 等函数,让模型在循环中请求它们,然后将结果作为 role: "tool" 消息发回。你的代码运行工具,因此你控制它可以访问的内容。对执行生成代码的部分进行沙盒处理。

典型编程任务的成本

费率为每 1M 输入 token $0.15,每 1M 输出 token $0.50。示例:

  • 一段代码请求,包含 3,000 个输入 token 和 800 个输出 token:0.003M x $0.15 = $0.00045,加上 0.0008M x $0.50 = $0.0004,总计 $0.00085。一千次这样的请求成本为 $0.85。
  • 整个文件的审查,包含 20,000 个输入 token 和 1,500 个输出 token:$0.003 + $0.00075 = $0.00375。
  • 一天内 400 次片段大小的混合请求:400 x $0.00085 = $0.34。

无订阅制,失败或被拒绝的请求不收费。可通过加密货币(TRC20 链上的 USDT、Base 链上的 USDC)充值任意整数金额,范围为 $20 至 $500。充值 $50 及以上赠 5%,$100 及以上赠 10%,$200 及以上赠 15%。详细信息见 定价页面;相关参数列于 文档中;你可在 注册页面获取 API 密钥。

问答

Abliteration 能让模型更擅长编码吗?

不会。它移除了拒绝行为。编程能力来自基础模型,因此请在你自己的任务上测试它。

在安全代码中使用无审查模型合法吗?

为你拥有或获授权测试的系统编写代码通常是合法的,但你需负责遵守法律并保持在授权范围内。

我可以在编辑器中使用它吗?

任何接受 OpenAI 兼容 Base URL、密钥和模型名称的编辑器扩展或工具都可以连接。使用 Base URL、你的密钥和模型 uncensored。

我可以发送多大的文件?

上下文窗口为 100,000 token(包含提示词和补全),最大请求体为 8 MB。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥