Skip to main content

Replicate

Replicate 是一个机器学习模型的 API。它目前托管了诸如 Llama v2、Gemma 和 Mistral/Mixtral 等模型。

要运行一个模型，请指定 Replicate 模型名称和版本，如下所示：

replicate:replicate/llama70b-v2-chat:e951f18578850b652510200860fc4ea62b3b16fac280f83ff32282f87bbd2e48

示例​

以下是使用 Replicate 上的 Llama 的示例。对于 Llama，版本哈希和 config 下的所有内容都是可选的：

providers:
  - id: replicate:meta/llama-2-7b-chat
    config:
      temperature: 0.01
      max_length: 1024
      prompt:
        prefix: '[INST] '
        suffix: ' [/INST]'

以下是使用 Replicate 上的 Gemma 的示例。请注意，与 Llama 不同，它没有默认版本，因此我们指定了模型版本：

providers:
  - id: replicate:google-deepmind/gemma-7b-it:2790a695e5dcae15506138cc4718d1106d0d475e6dca4b1d43f42414647993d5
    config:
      temperature: 0.01
      max_new_tokens: 1024
      prompt:
        prefix: "<start_of_turn>user\n"
        suffix: "<end_of_turn>\n<start_of_turn>model"

配置​

Replicate 提供者支持多个 配置选项，可用于自定义模型的行为，如下所示：

参数描述
temperature控制生成过程中的随机性。
max_length指定生成文本的最大长度。
max_new_tokens限制生成的新令牌数量。
top_p核采样：0 到 1 之间的浮点数。
top_k前 k 采样：保留的最高概率令牌数量。
repetition_penalty对生成文本中的重复单词进行惩罚。
system_prompt为所有请求设置系统级提示。
stop_sequences指定停止序列，以终止生成。
seed设置种子以获得可重复的结果。
warning

并非每个模型都支持每个完成参数。请务必在之前查看模型提供的 API。

这些参数适用于所有模型：

参数描述
apiKey用于与 Replicate 进行身份验证的 API 密钥。
prompt.prefix在每个提示前添加的字符串。适用于指令/聊天格式化。
prompt.suffix在每个提示后添加的字符串。适用于指令/聊天格式化。

支持的环境变量：

  • REPLICATE_API_TOKEN - 您的 Replicate API 密钥。
  • REPLICATE_API_KEY - 用于 API 密钥的替代变量 REPLICATE_API_TOKEN。
  • REPLICATE_MAX_LENGTH - 指定生成文本的最大长度。
  • REPLICATE_TEMPERATURE - 控制生成过程中的随机性。
  • REPLICATE_REPETITION_PENALTY - 对生成文本中的重复单词进行惩罚。
  • REPLICATE_TOP_P - 控制核采样：0 到 1 之间的浮点数。
  • REPLICATE_TOP_K - 控制前 k 采样：保留的最高概率词汇令牌数量。
  • REPLICATE_SEED - 设置种子以获得可重复的结果。
  • REPLICATE_STOP_SEQUENCES - 指定停止序列，以终止生成。
  • REPLICATE_SYSTEM_PROMPT - 为所有请求设置系统级提示。

图像​

像 SDXL 这样的图像生成器可以这样使用：

prompts:
  - '生成图像：{{subject}}'

providers:
  - id: replicate:image:stability-ai/sdxl:7762fd07cf82c948538e41f63f77d685e02b063e37e496e96eefd46c929f9bdc
    config:
      width: 768
      height: 768
      num_inference_steps: 50

tests:
  - vars:
      subject: 水果圈

图像支持的参数​

这些参数适用于图像生成模型：

参数描述
width生成图像的宽度。
height生成图像的高度。
refine使用哪种细化样式
apply_watermark在生成的图像上应用水印。
num_inference_steps在图像生成过程中使用的推理步骤数量。
warning

并非每个模型都支持所有图像参数。请务必在使用前查看模型提供的API。

支持的图像环境变量：

  • REPLICATE_API_TOKEN - 您的Replicate API密钥。
  • REPLICATE_API_KEY - 用于API密钥的REPLICATE_API_TOKEN的替代项。