什么是无审查LLM？
无审查LLM是经过修改以降低标准AI助手中常见的拒绝行为的开放权重语言模型。它们赋予用户更多对模型行为的控制权，因此特别适合在本地运行和实验LLM的用户。
什么是无审查LLM？
大多数现代AI助手经过训练，会遵循安全规则并拒绝某些请求。这种行为可能源于指令调优、偏好训练、系统提示以及模型或应用的其他部分。
无审查LLM通常是指经过修改或训练以降低某些拒绝行为的模型。关于“无审查”并没有单一的技术定义。不同的模型创建者可能采用不同的方法，由此产生的模型行为也可能大相径庭。
有些无审查模型是通过额外的微调创建的。另一些则采用技术来修改现有模型中的特定行为。该术语也可以指被称为abliterated的模型，但abliteration是一种特定技术，而非所有无审查模型的同义词。
无审查并不意味着无限制
移除或降低拒绝行为并不会使模型变得更强大。无审查模型仍可能产生错误信息、误解指令或拒绝某些请求。
- 能力仍然重要：较小的模型不会仅仅因为其拒绝行为被改变而成为更好的推理者。
- 质量参差不齐：无审查模型因其基础模型和修改方式的不同，可能有显著差异。
- 行为无保证：无审查模型可能仍会拒绝某些请求，或对指令的遵循不一致。
- 安全行为可能改变：降低拒绝行为也可能移除原始模型训练中固有的某些安全防护措施。
因此，将“无审查”视为对模型行为的描述，而非对模型能力的保证，更为恰当。
无审查与开放权重及基础模型的对比
这些术语经常一起使用，但它们描述的是LLM的不同方面。
| 术语 | 含义 |
|---|---|
| 开放权重 | 模型权重可供下载和运行。 |
| 基础模型 | 在额外指令或行为调优之前的底层模型。 |
| 微调 | 在特定数据集或目标上进一步训练的模型。 |
| 无审查模型 | 经过修改或训练以降低某些拒绝行为的模型。 |
| Abliterated模型 | 使用abliteration技术修改以降低特定拒绝行为的模型。 |
这些类别可能重叠。无审查模型可以是开放权重的，并基于现有模型。它也可以是该模型的微调或另一种修改。仅凭标签无法确切说明模型的创建方式。
为什么在本地运行无审查LLM？
在本地运行无审查LLM，用户可以对模型及其环境拥有更多控制权。无需依赖托管的AI服务，模型运行在用户控制的硬件上。
- 控制：您可以选择模型、推理软件和配置。
- 隐私：提示和生成的响应可以保留在您自己的计算环境中。
- 定制化：开放权重模型可以被修改、微调，并针对不同工作负载进行配置。
- 离线使用：本地托管的模型无需将提示发送到外部AI服务。
- 实验：开发者和研究人员可以比较不同版本的模型和修改。
本地推理还让您能控制运行模型的硬件。随着模型规模的增加，这一点变得尤为重要。
无审查LLM需要什么硬件？
无审查模型通常与其所基于的基础模型具有相同的硬件要求。主要因素包括模型大小、量化、上下文长度和推理设置。
较大的模型比较小的模型需要更多内存。量化可以减少加载模型所需的内存，使较大的模型在VRAM较少的GPU上也能实用。
推理过程本身也会占用VRAM。KV缓存和其他运行时数据需要额外内存，更长的上下文窗口也会增加所需的内存。
这意味着选择模型只是规划本地LLM设置的一部分。GPU必须具有足够的可用VRAM来容纳模型以及您打算运行的工作负载。
在DaDesktop上尝试
如果您想运行无审查LLM而无需购买和安装自己的GPU硬件，DaDesktop提供具有专用GPU资源的云桌面。您可以在DaDesktop上运行本地LLM工作负载，或根据您要运行的模型比较可用的GPU选项。