AI决策模型：它们与LLM的区别
决策模型最近作为一种不同的AI方法而受到关注。其中讨论较多的之一是TypeSafe AI的Jev。Jev生成结构化选择、评分和置信度估计，而非文本。
虽然传统AI模型多年来一直在进行预测和分类，但Jev专注于做出软件可直接使用的结构化决策。这种方法为构建AI应用提供了另一种途径，尤其是在系统需要评估信息并选择后续操作时。
Jev是如何工作的？
使用传统LLM时，您发送提示并接收生成的文本。即使您要求JSON格式，应用也必须处理响应并在使用前验证其内容。
Jev的工作方式不同。您提供一些上下文，定义您想要回答的问题，并指定预期的答案类型。Jev返回结构化结果，您的应用可以直接处理。
Jev支持三种主要问题类型：
- 选择：从您定义的列表中选择一个选项，例如计费、技术支持或销售。
- 评分：按有序量表对某事物进行评分，例如低、中或高优先级。
- 是或否：估计陈述为真的概率，例如支持工单是否需要人工关注。
您可以在一个请求中询问关于同一输入的多个问题。例如，支持应用可以对工单进行分类、评估其紧急程度，并估计是否需要人工审核。Jev以结构化格式返回结果，以便应用决定下一步操作。
决策模型与LLM
LLM和决策模型服务于不同目的。LLM可以解释决策、生成内容、编写代码或推理复杂任务。Jev则专为具有定义输出的聚焦决策而设计。
| 特性 | LLM | Jev |
|---|---|---|
| 主要用途 | 生成和理解语言 | 生成结构化决策 |
| 输出 | 文本或结构化数据 | 选择、评分和概率 |
| 答案格式 | 可以是开放式的 | 由您提供的问题定义 |
| 典型用途 | 编码、研究、写作、推理 | 分类、路由、评分、决策支持 |
区别不在于LLM不能做决策。它们也可以分类信息并返回结构化数据。Jev是专门围绕该任务构建的，不会生成需要应用解释的自由格式响应。
这可能使其对重复、定义明确的决策有用。对于需要详细解释、创造性输出或复杂多步推理的任务，LLM仍然是更合适的工具。
什么是置信度评分？
Jev的主要特点之一是输出包含概率和置信度信息。这些值帮助开发人员评估模型对答案的偏好强度。
例如，客户支持应用可能会询问是否应升级工单。如果模型指示需要升级的概率很高，应用可以将工单发送给高级支持团队。如果结果不确定，则可以将工单发送给人工审核。
然而，置信度并不保证正确性。模型可能高度自信但仍然做出错误决策。开发人员应针对真实示例测试其结果，并根据每个决策的后果选择阈值。
区分答案的概率和单独的置信度评分也很重要。确切含义取决于输出类型。应用应遵循模型文档，而不是将每个返回的数字视为相同的度量。
决策模型在哪些方面有用？
分类和路由
许多应用需要在处理前对传入信息进行分类。支持平台可能按主题分类请求并发送到正确的团队。业务应用可以对文档、电子邮件或客户反馈进行分类。
Jev可以从预定义列表返回类别，允许应用路由项目而无需解析生成的段落。
评分和评估
决策模型还可以按定义量表评估信息。例如，应用可以按紧急程度对支持工单进行评分，对文档的相关性进行评分，或评估响应是否满足特定标准。
结果可用于排名项目、优先处理工作或识别需要进一步审核的案例。这些决策的质量仍取决于模型以及标准描述任务的程度。
AI代理和工具选择
AI代理使用模型来决定采取哪些行动。代理可能选择工具、分类请求或确定任务是否需要额外信息。
通用LLM可以将其推理的一部分来做出这些决策。决策模型可以在代理行动前处理更窄的选择。
例如，使用Hermes Agent的自定义工作流可以使用Jev在将传入任务传递给代理之前进行分类。它还可以帮助确定哪个工作流应处理请求。这需要自定义集成，而不是依赖假设的本地支持。
决策模型不应被视为独立的安全控制。如果代理可以执行命令或修改文件，权限和确定性规则必须强制执行允许的操作。模型的分类可以告知该过程，但不应取代它。
Jev的替代方案
Jev是更广泛的旨在生成结构化决策的模型类型的一部分。OpenJev和Laya是另外两个值得探索的项目，用于比较方法。
OpenJev
OpenJev是与Jev方法相关的开放项目。如果您想探索托管服务之外的实现，值得研究。使用前，请检查其当前可用性、硬件要求、支持的功能和许可证。
Laya
Laya是Convai Innovations的开源决策模型。它专注于从预定义选项中选择、对信息进行评分以及回答是或否问题等任务。如果您想评估可以在自己环境中运行的模型，它可能相关。
这些项目应基于实际性能进行比较，而不仅仅是其声明的能力。使用相同的测试数据，测量准确性、延迟、资源需求以及其置信度估计与实际结果匹配的程度。
您能在本地运行决策模型吗？
在本地运行模型可以让您更好地控制软件环境和数据处理位置。然而，可用的部署选项因项目而异。Jev通过API提供，而开源替代方案可能提供在您自己的硬件上运行推理的选项。
硬件要求取决于模型大小、内存使用和吞吐量。有些模型可以在CPU上运行，而其他模型则受益于GPU，尤其是在处理许多请求时。
如果您想尝试本地AI模型，DaDesktop提供具有专用GPU选项的云桌面。您可以在不购买高端GPU的情况下用于开发和测试。
何时应使用决策模型？
当应用需要定义明确的答案以触发特定下一步时，决策模型很有用。它们可以补充LLM，处理分类、评分和路由，而生成模型处理语言和更复杂的推理。
最佳选择取决于您的应用。使用您自己的数据测试模型，与常规分类器和LLM进行比较，并测量准确性、延迟和成本。对于重要决策，请包括人工审核和必要的保障措施。
想讨论您的用例吗？联系我们，我们将为您指明正确方向。