LLM Chat Complete

LLM Chat Complete 任务用于根据额外指令完成聊天查询。它可用于控制模型行为，以最小化与预期目标的偏差。

LLM Chat Complete 任务通过接收用户输入并根据提供的指令和参数生成响应来处理聊天查询。这有助于模型专注于目标，并提供对模型输出行为的控制。

任务参数

为 LLM Chat Complete 任务配置以下参数。

参数	描述	必需/可选
inputParameters. llmProvider	LLM 提供商。您可以选择您至少有一个模型访问权限的提供商。注意：如果您尚未在 TaskFlow Conductor 集群上配置 AI/LLM 提供商，请转到集成选项卡进行设置。请参阅LLM 提供商与 taskflow 集成。	必需。
inputParameters. model	所选 LLM 提供商提供的可用语言模型。您只能选择您有访问权限的模型。例如，如果您的 LLM 提供商是 Azure Open AI，并且您已配置 text-davinci-003 作为语言模型，您可以在此处选择它。	必需。
inputParameters. instructions	聊天的基本规则或指令，以便模型仅响应特定查询，不会偏离目标。在此部分下，您还可以将指令保存为 AI 提示并在此处添加。只能使用您有访问权限的提示。注意：如果您尚未为语言模型创建 AI 提示，	必需。
inputParameters. promptVariables	对于涉及变量的提示，在此字段中提供这些变量的输入。可以是字符串、数字、布尔值、null、对象/数组。	可选。
inputParameters. messages	完成聊天查询的适当角色和消息。支持的值：rolemessage	可选。
inputParameters. messages.role	聊天完成的必需角色。可用选项包括 user_、_assistant_、_system 或 _human_。角色 "user" 和 "human" 代表用户提问或发起对话。角色 "assistant" 和 "system" 指模型响应用户查询。	可选。
inputParameters. messages.message	要提供的相应输入消息。	可选。
inputParameters. temperature	控制模型输出随机性的参数。较高的温度（如 1.0）使输出更随机和创造性。较低的值使输出更确定性和集中。提示：如果您使用文本片段作为输入并希望根据其内容类型进行分类，请选择较低的温度设置。相反，如果您提供文本输入并打算生成电子邮件或博客等内容，建议使用较高的温度设置。	可选。
inputParameters. stopWords	在文本生成过程中要省略的单词列表。支持字符串和对象/数组。在 LLM 中，停用词可能会在文本生成过程中被过滤掉或降低重要性，以确保生成的文本连贯且上下文相关。	可选。
inputParameters. topP	另一个控制模型输出随机性的参数。此参数定义概率阈值，然后选择累积概率超过此阈值的标记。示例：假设您想完成句子："她走进房间，看到一个__。" LLM 模型基于最高概率会考虑的前几个词是：猫 - 35%狗 - 25%书 - 15%椅子 - 10%如果您将 top-p 参数设置为 0.70，LLM 模型将考虑标记，直到它们的累积概率达到或超过 70%。工作原理如下：添加"猫"（35%）到累积概率。添加"狗"（25%）到累积概率，总计 60%。添加"书"（15%）到累积概率，现在为 75%。此时，累积概率为 75%，超过了设定的 top-p 值 70%。因此，LLM 将从"猫"、"狗"和"书"的列表中随机选择一个标记来完成句子，因为这些标记共同占大约 75% 的可能性。	可选。
inputParameters. maxTokens	LLM 生成并作为结果一部分返回的最大标记数。一个标记大约为四个字符。	可选。
inputParameters. jsonOutput	确定 LLM 的响应是否被解析为 JSON。当设置为 'true' 时，模型的响应将被处理为结构化 JSON 数据。	可选。

任务配置

这是 LLM Chat Complete 任务的任务配置。

{
  "name": "llm_chat_complete",
  "taskReferenceName": "llm_chat_complete_ref",
  "inputParameters": {
    "llmProvider": "openai",
    "model": "gpt-4",
    "instructions": "your-prompt-template", // 可以是硬编码指令或在此处选择提示
    "messages": [
      {
        "role": "user",
        "message": "${workflow.input.text}"
      }
    ],
    "temperature": 0.1,
    "topP": 0.2,
    "maxTokens": 4,
    "stopWords": "spam",
    "promptVariables": {
      "text": "${workflow.input.text}",
      "language": "${workflow.input.language}"
    },
    "jsonOutput": true
  },
  "type": "LLM_CHAT_COMPLETE"
}

任务输出

LLM Chat Complete 任务将返回以下参数。

参数	描述
result	LLM 生成的完整聊天。

在 UI 中添加 LLM Text Complete 任务

添加 LLM Text Complete 任务：

在您的工作流中，选择 (+) 图标并添加 LLM Text Complete 任务。
选择 LLM 提供商 和模型。
在指令字段中，设置基本规则或指令，以确保模型仅响应特定查询。您可以将这些指令保存为 AI 提示并在此处添加。
（可选）点击 +添加变量 以提供变量路径（如果您的提示模板包含变量）。
（可选）点击 +添加消息 并选择适当的角色和消息以完成聊天查询。
（可选）设置参数温度、停用词、TopP 和 标记限制。
（可选）启用 JSON 输出 以将 LLM 的响应格式化为结构化 JSON。

LLM Chat Complete ​

任务参数 ​

任务配置 ​

任务输出 ​

在 UI 中添加 LLM Text Complete 任务 ​

LLM Chat Complete

任务参数

任务配置

任务输出

在 UI 中添加 LLM Text Complete 任务